Resumen

Este documento trata sobre los procesos de decisión de Markov (MDPs) en espacios euclídeos con un horizonte infinito. Un enfoque para estudiar este tipo de MDPs es utilizando la técnica de programación dinámica (DP). Luego, la función de valor óptimo se caracteriza a través de las funciones de iteración de valor. El documento proporciona condiciones que garantizan la convergencia de los maximizadores de las funciones de iteración de valor hacia la política óptima. Luego, utilizando la ecuación de Euler y una fórmula de sobreenvoltura, se obtiene la solución óptima del problema de control óptimo. Finalmente, esta teoría se aplica a un problema de control lineal-cuadrático para encontrar su política óptima.

• Materias:Modelado matemático Sistemas estocásticos Productos gráficos Ecuaciones matriciales Métodos de descomposición
• Subjects:Mathematical modeling Stochastic systems Graph products Matrix equations Decomposition methods
• Palabras claves:Procesos de decisión de Markov; Espacios euclídeos; Horizonte infinito; Técnica de programación dinámica; Función de valor óptimo; Problema de control lineal-cuadrático
• Keywords:Markov decision processes; Euclidean spaces; Infinite horizon; Dynamic programming technique; Optimal value function; Linear-quadratic control problem