Resumen

La explosión exponencial de acciones conjuntas y la recopilación masiva de datos son dos retos principales en los algoritmos de aprendizaje de refuerzo multiagente con entrenamiento centralizado. Para superar estos problemas, en este trabajo proponemos un algoritmo de aprendizaje de refuerzo multiagente actor-crítico libre de modelos y totalmente descentralizado basado en la difusión de mensajes. Para ello, se supone que los agentes están situados en una red de comunicación variable en el tiempo. Cada agente realiza observaciones limitadas sobre el estado global y las acciones conjuntas, por lo que necesita obtener y compartir información con los demás a través de la red. En el algoritmo propuesto, los agentes mantienen estimaciones locales del estado global y las acciones conjuntas y las actualizan con observaciones locales y los mensajes recibidos de sus vecinos. Bajo la hipótesis de la descomposición del valor global, se deriva el gradiente de la función objetivo global para un agente individual. La convergencia del algoritmo propuesto con aproximación lineal de funciones está garantizada según la teoría de aproximación estocástica. En los experimentos, el algoritmo propuesto se aplicó a un entorno multiagente de tarea de localización pasiva y consiguió un rendimiento superior al de los algoritmos más avanzados.

• Materias:Biotecnología Minería de datos Redes de sensores Sistema de sensores Tecnología de sensores
• Subjects:Biotechnology Data mining Sensor networks Sensor system Sensor technology
• Palabras claves:acciones conjuntas, algoritmo, estado global, tarea de localización pasiva entorno multiagente, refuerzo crítico multiagente, función objetivo global, descomposición global de valores, aproximación lineal de funciones, recogida masiva de datos, teoría de aproximación estocástica
• Keywords:joint actions, algorithm, global state, passive location task multiagent environment, critic multiagent reinforcement, global objective function, global value decomposition, linear function approximation, massive data collection, stochastic approximation theory