Resumen

El análisis del proceso de entrenamiento y la condición de terminación del proceso de entrenamiento de un sistema de Aprendizaje por Refuerzo (RL) han sido siempre las cuestiones clave para entrenar a un agente RL. En este artículo se propone un nuevo enfoque basado en la Entropía de Estado y la Entropía de Exploración para analizar el proceso de entrenamiento. El concepto de Entropía de Estado se utiliza para denotar la incertidumbre de un agente RL para seleccionar la acción en cada estado que el agente atravesará, mientras que la Entropía de Exploración denota la incertidumbre de selección de acción de todo el sistema. En realidad, la incertidumbre en la selección de acciones de un determinado estado o de todo el sistema refleja el grado de exploración y la fase del proceso de aprendizaje de un agente. La Entropía de Exploración es un nuevo criterio para analizar y gestionar el proceso de entrenamiento de la RL. El análisis teórico y los resultados experimentales demuestran que la curva de Entropía de Exploración contiene más información que los métodos analíticos existentes.

• Materias:Matemáticas Análisis Matemático Álgebra Ingeniería Matemática aplicada Lógica matemática
• Subjects:mathematics Mathematical Analysis Algebra Engineering Applied Mathematics Mathematical logic
• Palabras claves:entropía de exploración, incertidumbre en la selección de acciones, proceso de entrenamiento, agente rl, entropía de estado, sistema completo, análisis del proceso de entrenamiento, agente, aprendizaje por refuerzo, métodos analíticos
• Keywords:exploration entropy, action selection uncertainty, training process, rl agent, state entropy, whole system, training process analysis, agent, reinforcement learning, analytical methods