Resumen

Los algoritmos de aprendizaje por refuerzo basados en el gradiente de la política pueden caer en el óptimo local debido a la desaparición del gradiente durante el proceso de actualización, lo que a su vez afecta a la capacidad de exploración del agente de aprendizaje por refuerzo. Para resolver el problema anterior, en este trabajo se combinan el método de entropía cruzada (CEM) en la política de evolución, la máxima diferencia de medias (MMD) y el algoritmo de gradiente de política determinista profunda con retardo (TD3) para proponer un algoritmo de aprendizaje de refuerzo profundo de política evolutiva de diversidad (DEPRL). Utilizando la discrepancia media máxima como medida de la distancia entre las diferentes políticas, algunas de las políticas de la población maximizan la distancia entre ellas y la generación anterior de políticas al tiempo que maximizan el retorno acumulativo durante la actualización del gradiente. Además, la combinación de los rendimientos acumulados y la distancia entre políticas como aptitud de la población fomenta una mayor diversidad en las políticas descendientes, lo que a su vez puede reducir el riesgo de caer en óptimos locales debido a la desaparición del gradiente. Los resultados en el entorno de prueba MuJoCo muestran que DEPRL ha logrado un excelente rendimiento en tareas de control continuo; especialmente en el entorno Ant-v2, el rendimiento de DEPRL alcanzó finalmente una mejora de casi el 20% en comparación con TD3.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Neurofisiología Proceso de aprendizaje
• Subjects:Artificial intelligence Data mining Genetic algorithms Neurophysiology Learning processes
• Palabras claves:rendimiento acumulativo, óptimo local, política determinista profunda, logro de un rendimiento excelente, aprendizaje de refuerzo profundo, tarea de control continuo, algoritmo de gradiente de política, rendimiento deprl, agente de aprendizaje de refuerzo, discrepancias de medios máximos
• Keywords:cumulative return, local optimal, deep deterministic policy, achieved excellent performance, deep reinforcement learning, continuous control task, policy gradient algorithm, return of deprl, reinforcement learning agent, maximum means discrepancies