Resumen

Con el desarrollo de la tecnología de los vehículos aéreos no tripulados (UAV), el enfrentamiento de los enjambres de UAV ha atraído la atención de muchos investigadores. Sin embargo, la situación a la que se enfrenta el enjambre de UAV tiene una incertidumbre sustancial y una variabilidad dinámica. El espacio de estado y el espacio de acción aumentan exponencialmente con el número de UAV, por lo que la toma de decisiones autónoma se convierte en un problema difícil en el entorno de confrontación. En este trabajo se propone un método de aprendizaje por refuerzo multiagente con macroacción y experiencia humana para la toma de decisiones autónoma de los UAV. En el enfoque propuesto, el enjambre de UAVs se modela como un gran sistema multiagente (MAS) con un UAV individual como agente, y el problema de toma de decisiones secuencial en la confrontación del enjambre se modela como un proceso de decisión de Markov. Los agentes del método propuesto se entrenan basándose en las macroacciones, donde se superan eficazmente las recompensas escasas y retrasadas, el gran espacio de estado y el espacio de acción. La clave del éxito de este método es la generación de las macroacciones que permiten a la política de alto nivel encontrar una solución casi óptima. En este trabajo, aprovechamos además la experiencia humana para diseñar un conjunto de buenas macroacciones. Extensos experimentos empíricos en nuestro entorno de confrontación de enjambre construido muestran que nuestro método rinde mejor que los demás algoritmos.

• Materias:Automatización Aerodinámica Motores (Mecánica) Cinemática Ingeniería Aeronáutica
• Subjects:Automation Aerodynamics Engines Kinematics Aeronautical Engineering
• Palabras claves:macroacción, enjambre de uavs, experiencia humana, decisión autónoma, gran sistema multiagente, fabricación de uavs, vehículo aéreo no tripulado, buena macroacción, gran espacio de estados, número de uavs
• Keywords:macro action, uav swarm, human expertise, autonomous decision, large multiagent system, making of uavs, unmanned aerial vehicle, good macro action, large state space, number of uavs