Resumen

Estudiamos la viabilidad y capacidad del algoritmo de diferencia temporal del núcleo (KTD)(λ) para la decodificación neuronal. El KTD(λ) es un algoritmo de aprendizaje online basado en el kernel, que ha sido introducido para estimar funciones de valor en el aprendizaje por refuerzo. Este algoritmo combina representaciones basadas en kernels con el enfoque de diferencias temporales para el aprendizaje. Una de nuestras principales observaciones es que al utilizar núcleos estrictamente definidos positivos, se puede garantizar la convergencia del algoritmo para la evaluación de políticas. Las capacidades de aproximación funcional no lineal del algoritmo se muestran tanto en simulaciones de evaluación de políticas como en problemas de decodificación neuronal (mejora de políticas). KTD puede manejar estados neuronales de alta dimensión que contienen información espacio-temporal con una complejidad computacional razonable que permite aplicaciones en tiempo real. Cuando el algoritmo busca un mapeo adecuado entre los estados neuronales de un mono y las posiciones deseadas de un cursor de ordenador o de un brazo robótico, tanto en experimentos de bucle abierto como de bucle cerrado, puede aprender eficazmente el mapeo de estado neuronal a acción. Por último, una visualización del proceso de coadaptación entre el decodificador y el sujeto muestra las capacidades del algoritmo en las interfaces cerebro-máquina de aprendizaje por refuerzo.

• Materias:Inteligencia artificial Algoritmos genéticos Ingeniería civil Neurociencia Cognitiva
• Subjects:Artificial intelligence Genetic algorithms Civil engineering Cognitive Neuroscience
• Palabras claves:algoritmo, evaluación de políticas, estado neuronal, núcleo, estado neuronal dimensional, algoritmo de aprendizaje basado, interfaz cerebro-máquina, complejidad computacional razonable, enfoque de diferencia temporal, problema de decodificación neuronal
• Keywords:algorithm, policy evaluation, neural state, kernel, dimensional neural state, based learning algorithm, brain machine interface, reasonable computational complexity, temporal difference approach, neural decoding problem