Resumen

La planificación de trayectorias dinámicas en un entorno desconocido siempre ha sido un desafío para los robots móviles. En este documento, aplicamos el aprendizaje profundo de refuerzo doble Q-network (DDQN) propuesto por DeepMind en 2016 a la planificación de trayectorias dinámicas en un entorno desconocido. Se diseñan la función de recompensa y castigo y el método de entrenamiento para la inestabilidad de la etapa de entrenamiento y la escasez del espacio de estado del entorno. En diferentes etapas de entrenamiento, ajustamos dinámicamente la posición de inicio y la posición objetivo. Con la actualización de la red neuronal y el aumento de la probabilidad de regla codiciosa, el espacio local buscado por el agente se expande. Se utiliza el módulo Pygame en PYTHON para establecer entornos dinámicos. Considerando la señal de lidar y la posición objetivo local como entradas, se utilizan redes neuronales convolucionales (CNNs) para generalizar el estado ambiental. El algoritmo Q-learning mejora la capacidad de evitar obstáculos dinámicos y la planificación local de los agentes en el entorno. Los resultados muestran que, después de entrenar en diferentes entornos dinámicos y probar en un nuevo entorno, el agente puede llegar con éxito a la posición objetivo local en un entorno dinámico desconocido.

• Materias:Robot humanoide Sistema de inferencia Fusión de filtro Navegación Programación
• Subjects:Humanoid robot Inference system Filter fusion Navigation Programming
• Palabras claves:Planificación dinámica de trayectorias; Entorno desconocido; Doble red Q; Aprendizaje profundo por refuerzo; Evitación dinámica de obstáculos; Planificación local
• Keywords:Dynamic path planning; Unknown environment; Double Q-network; Deep reinforcement learning; Dynamic obstacle avoidance; Local planning