Resumen

Este trabajo propone un diseño de control adaptativo tridimensional (3D) de seguimiento de trayectoria para una aeronave robótica basado en el aprendizaje por refuerzo. El control de seguimiento de la trayectoria en 3D de la aeronave se descompone en el control de altitud y el control de seguimiento de la trayectoria plana, y se establecen los modelos del proceso de decisión de Markov (MDP) de los problemas de control, en los que la escala del espacio de estado se reduce mediante la simplificación de los parámetros y la transformación de las coordenadas. Para garantizar la adaptabilidad del control sin depender de un modelo dinámico preciso de la aeronave, se adopta directamente un algoritmo Q-Learning para el aprendizaje de la política de acción de los comandos de los actuadores, y el controlador se entrena en línea basándose en el movimiento real. Para acelerar el proceso de entrenamiento se emplea una red neuronal de controlador de articulación de modelo cerebeloso (CMAC) para la generalización de la experiencia. Los resultados de la simulación demuestran que los controladores propuestos pueden alcanzar un rendimiento comparable al de los controladores diferenciales integrales de proporción (PID) bien ajustados y tienen una capacidad de decisión más inteligente.

• Materias:Aerodinámica Ingeniería aeroespacial Satélites Satélite artificial Meteorología
• Subjects:Aerodynamics Aerospace engineering Satellites Artificial satellites Meteorology
• Palabras claves:proceso de decisión de markov, controlador de articulación del modelo, política del actuador, algoritmo de aprendizaje, diferencial integral, comando del actuador, proceso de entrenamiento, controlador propuesto, red neuronal, movimiento real
• Keywords:markov decision process, model articulation controller, policy of actuator, learning algorithm, integral differential, actuator command, training process, proposed controller, neural network, actual motion