Resumen

El aprendizaje de refuerzo jerárquico trabaja con acciones o habilidades extendidas temporalmente para facilitar el aprendizaje. Cómo formar automáticamente dicha abstracción es un reto, y muchos esfuerzos abordan esta cuestión en el marco de las opciones. Aunque existen varios enfoques para construir opciones desde diferentes perspectivas, pocos de ellos se concentran en la adaptabilidad de las opciones durante el aprendizaje. Este artículo presenta un algoritmo para crear opciones y mejorar su calidad en línea. Ambos aspectos operan sobre comunidades detectadas del gráfico de transición de estados del entorno de aprendizaje. Primero construimos opciones a partir de muestras iniciales como base del aprendizaje en línea. A continuación, se propone un algoritmo de revisión de comunidades basado en reglas para actualizar las particiones del grafo, a partir de las cuales se pueden ajustar continuamente las opciones existentes. Los resultados experimentales en dos problemas indican que las opciones a partir de muestras iniciales pueden funcionar mal en entornos más complejos, y nuestra estrategia presentada puede mejorar eficazmente las opciones y obtener mejores resultados en comparación con el aprendizaje por refuerzo plano.

• Materias:Biotecnología Minería de datos Algoritmos genéticos Cerebro - fisiopatología Neurofisiología
• Subjects:Biotechnology Data mining Genetic algorithms Brain - pathophysiology Neurophysiology
• Palabras claves:opciones, muestra inicial, trabajo de aprendizaje de refuerzo, gráfico de transición de estados, aprendizaje de refuerzo jerárquico, aprendizaje de refuerzo plano, algoritmo de revisión de la comunidad, entorno complejo, enfoque variado, estrategia presentada
• Keywords:options, initial sample, reinforcement learning work, state transition graph, hierarchical reinforcement learning, flat reinforcement learning, community revision algorithm, complex environment, various approach, presented strategy