Resumen

Aunque el aprendizaje profundo por refuerzo (DRL) ha logrado un gran éxito en algunos dominios de gran tamaño, la mayoría de los algoritmos relacionados asumen que el estado del sistema subyacente es totalmente observable. Sin embargo, muchos problemas del mundo real son en realidad parcialmente observables. Para los sistemas con observación continua, la mayoría de los algoritmos relacionados, por ejemplo, la red Q profunda (DQN) y la red Q profunda recurrente (DRQN), utilizan observaciones históricas para representar los estados; sin embargo, a menudo hacen que el cálculo sea costoso e ignoran la información de las acciones. Las representaciones predictivas de estado (PSR) pueden ofrecer un marco potente para modelar sistemas dinámicos parcialmente observables con un espacio de estado discreto o continuo, que representa el estado latente utilizando acciones y observaciones completamente observables. En este artículo, presentamos un enfoque DQN basado en un modelo PSR que combina los puntos fuertes del modelo PSR y la planificación DQN. Utilizamos una red recurrente para establecer el modelo PSR recurrente, que puede aprender completamente la dinámica del entorno observable parcialmente continuo. A continuación, el modelo se utiliza para la representación de estados y la actualización de DQN, lo que hace que DQN ya no dependa de un número fijo de observaciones históricas o de una red neuronal recurrente (RNN) para representar estados en el caso de entornos parcialmente observables. El gran rendimiento del enfoque propuesto se demuestra en un conjunto de tareas de control robótico de OpenAI Gym comparando la técnica con la DRQN basada en memoria y las redes de política de estado predictiva recurrente (RPSP) de última generación. El código fuente está disponible en https://github.com/RPSR-DQN/paper-code.git.

• Materias:Matemáticas Análisis Matemático Álgebra Ingeniería Matemática aplicada Lógica matemática
• Subjects:mathematics Mathematical Analysis Algebra Engineering Applied Mathematics Mathematical logic
• Palabras claves:dqn, modelo psr, observaciones históricas, algoritmos relacionados, política de estado predictiva recurrente, representaciones de estado predictivas, entorno observable continuo, espacio de estado continuo, q recurrente profundo, aprendizaje de refuerzo profundo
• Keywords:dqn, psr model, history observations, related algorithms, recurrent predictive state policy, predictive state representations, continuous observable environment, continuous state space, deep recurrent q, deep reinforcement learning