Resumen

En los últimos años, el aprendizaje profundo por refuerzo (DRL, por sus siglas en inglés) ha logrado un gran éxito en muchos campos, especialmente en el ámbito de los juegos, como AlphaGo, AlphaZero y AlphaStar. Sin embargo, debido al problema de escasez de recompensas, el método basado en DRL tradicional muestra un rendimiento limitado en juegos en 3D, los cuales contienen un espacio de estados de dimensiones mucho más altas. Para resolver este problema, en este artículo, proponemos un algoritmo de optimización de políticas basado en recompensas intrínsecas (IBPO, por sus siglas en inglés) para la escasez de recompensas. En el IBPO, se integra una recompensa intrínseca novedosa en la red de valores, la cual proporciona una recompensa adicional en un entorno con recompensa escasa, con el fin de acelerar el entrenamiento. Además, para abordar el problema de sesgo en la estimación de valores, diseñamos tres tipos adicionales de tareas auxiliares, las

• Materias:Funciones Flujo de información Estudio de población Modelado de sistemas Modelo de campo
• Subjects:Functions Information flow Population study System modeling Field model
• Palabras claves:Aprendizaje profundo por refuerzo; Algoritmo IBPO; Escasez de recompensas; Recompensa intrínseca; Tareas auxiliares; Sesgo en la estimación de valor
• Keywords:Deep reinforcement learning; IBPO algorithm; Reward sparsity; Intrinsic reward; Auxiliary tasks; Value estimation bias