Resumen

Este trabajo propone dos métodos de fusión multimodal entre señales cerebrales y periféricas para el reconocimiento de emociones. Las señales de entrada son el electroencefalograma y la expresión facial. Los estímulos se basan en un subconjunto de clips de películas que corresponden a cuatro áreas específicas del espacio emocional de valencia-despertar (felicidad, neutro, tristeza y miedo). Para la detección de la expresión facial, se detectan cuatro estados emocionales básicos (felicidad, neutralidad, tristeza y miedo) mediante un clasificador de red neuronal. Para la detección del EEG, se detectan cuatro estados de emoción básicos y tres niveles de intensidad de la emoción (fuerte, normal y débil) mediante dos clasificadores de máquinas de vectores de apoyo (SVM), respectivamente. El reconocimiento de emociones se basa en dos métodos de fusión a nivel de decisión de las detecciones de EEG y de expresión facial mediante una regla de suma o una regla de producción. Veinte sujetos sanos participaron en dos experimentos. Los resultados muestran que las precisiones de las dos detecciones de fusión multimodal son del 81,25 y 82,75%, respectivamente, que son superiores a las de la detección de expresiones faciales (74,38%) o del EEG (66,88%). La combinación de información de expresiones faciales y EEG para el reconocimiento de emociones compensa sus defectos como fuentes de información individuales.

• Materias:Algoritmos genéticos Cerebro - fisiopatología Neurociencia Cognitiva Fisiología vegetal
• Subjects:Genetic algorithms Brain - pathophysiology Cognitive Neuroscience Plant physiology
• Palabras claves:expresión facial, estado de las emociones básicas, detección de expresiones faciales, detección de eeg, reconocimiento de emociones, clasificador de red neural, métodos de fusión multimodal, métodos de fusión de niveles, detección de fusión multimodal, subconjunto de películas
• Keywords:facial expression, basic emotions state, facial expression detection, eeg detection, emotions recognition, neural network classifier, multimodal fusion methods, level fusion methods, multimodal fusion detection, subset of movies