Resumen

Este artículo analiza la noción de transferencia de contexto en las tareas de aprendizaje por refuerzo. La transferencia de contexto, tal y como se define en este trabajo, implica la transferencia de conocimiento entre tareas de origen y de destino que comparten la misma dinámica de entorno y la misma función de recompensa, pero que tienen estados o espacios de acción diferentes. En otras palabras, los agentes aprenden la misma tarea mientras utilizan diferentes sensores y actuadores. Esto requiere la existencia de un proceso de decisión de Markov (MDP) común subyacente al que se puedan asignar todos los MDP de los agentes. Esto se formula en términos de la noción de homomorfismo MDP. El marco de aprendizaje es el aprendizaje Q. Para transferir el conocimiento entre estas tareas, el espacio de características se utiliza como traductor y se expresa como un mapeo parcial entre los espacios estado-acción de las diferentes tareas. Los valores Q aprendidos durante el proceso de aprendizaje de las tareas de origen se asignan a los conjuntos de valores Q de la tarea de destino. Estos valores Q transferidos se fusionan y se utilizan para iniciar el proceso de aprendizaje de la tarea de destino. Se utiliza un enfoque basado en intervalos para representar y fusionar el conocimiento de las tareas de origen. Los resultados empíricos muestran que la inicialización transferida puede ser beneficiosa para el proceso de aprendizaje de la tarea objetivo.

• Materias:Algoritmos (Matemáticas) Ingeniería del transporte Neurociencias Seguridad del transporte Ingeniería ferroviaria
• Subjects:Agorithms (Math) Transport engineering Neurosciences Transport safety Railway engineering
• Palabras claves:tarea objetivo, proceso de aprendizaje, espacio de acción, transferencia de contexto, tarea fuente, tarea de aprendizaje por refuerzo, proceso de decisión de markov, decisión de markov común, noción de mdp, noción de contexto
• Keywords:target task, learning process, action space, context transfer, source task, reinforcement learning task, markov decision process, common markov decision, notion of mdp, notion of context