Resumen

En el aprendizaje por refuerzo (RL), un agente aprende un entorno a través de ensayo y error. Este comportamiento permite al agente aprender en entornos complejos y difíciles. En RL, el agente normalmente aprende el entorno dado explorando o explotando. La mayoría de los algoritmos sufren de subexploración en la última etapa de los episodios. Recientemente, se propuso un algoritmo fuera de política llamado actor crítico suave (SAC) que supera este problema al maximizar la entropía mientras aprende el entorno. En él, el agente intenta maximizar la entropía junto con las recompensas descontadas esperadas. En SAC, el agente intenta ser lo más aleatorio posible mientras se mueve hacia la recompensa máxima. Esta aleatoriedad permite al agente explorar el entorno y evita que se quede atascado en óptimos locales. Creemos que maximizar la entropía causa la sobreestimación del término de entropía, lo que resulta en un aprendizaje de política lento.

• Materias:Comunicación inalámbrica Dispositivos móviles Seguridad de la información Algoritmo de inteligencia Sensor inteligente
• Subjects:Wireless communication Mobile devices Information security Algorithm intelligence Intelligent sensor
• Palabras claves:Aprendizaje por refuerzo; Agente; Entorno; Entropía; Políticas; SAC
• Keywords:Reinforcement learning; Agent; Environment; Entropy; Policies; SAC