Resumen

Al combinarse con métodos de kernel disperso, los algoritmos de diferencia temporal por mínimos cuadrados (LSTD) pueden construir el diccionario de características automáticamente y obtener una mejor capacidad de generalización. Sin embargo, los algoritmos LSTD anteriores basados en kernel no consideran la regularización y sus procesos de sparsificación son por lotes o fuera de línea, lo que dificulta su aplicación generalizada en problemas de aprendizaje en línea. En este trabajo, combinamos las siguientes cinco técnicas y proponemos dos nuevos algoritmos LSTD recursivos de kernel: (i) la sparsificación online, que puede hacer frente a regiones de estado desconocidas y utilizarse para el aprendizaje online, (ii) la regularización L2 y L1, que puede evitar el sobreajuste y eliminar la influencia del ruido, (iii) los mínimos cuadrados recursivos, que pueden eliminar las operaciones de inversión matricial y reducir la complejidad computacional, (iv) un enfoque de ventana deslizante, que puede evitar el almacenamiento en caché de todas las muestras de la historia y reducir el coste computacional, y (v) la subiteración de punto fijo y la poda online, que pueden hacer que la regularización L1 sea fácil de implementar. Por último, los resultados de la simulación de dos problemas de cadena de 50 estados demuestran la eficacia de nuestros algoritmos.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Cerebro - fisiopatología Neurociencia Cognitiva
• Subjects:Artificial intelligence Data mining Genetic algorithms Brain - pathophysiology Cognitive Neuroscience
• Palabras claves:regularización l1, problema de aprendizaje en línea, influencia del ruido, región de estado desconocida, algoritmo lstd recursivo, métodos de núcleo disperso, mejor capacidad de generalización, mínimos cuadrados recursivos, algoritmo lstd basado, núcleo anterior
• Keywords:l1 regularization, online learning problem, influence of noise, unknown state region, recursive lstd algorithm, sparse kernel methods, better generalization ability, recursive least square, based lstd algorithm, previous kernel