Resumen

El contexto, como las escenas y los objetos, desempeña un papel importante en el reconocimiento de emociones en vídeo. La precisión del reconocimiento de las emociones puede mejorar aún más si se incorpora la información del contexto. Aunque las investigaciones anteriores han tenido en cuenta la información del contexto, las pistas emocionales contenidas en diferentes imágenes pueden ser diferentes, lo que a menudo se ignora. Para abordar el problema de la diferencia de emociones entre diferentes modos y diferentes imágenes, este trabajo propone una red de fusión multimodal basada en la atención jerárquica para el reconocimiento de emociones en vídeo, que consiste en un módulo de extracción de características multimodales y un módulo de fusión de características multimodales. El módulo de extracción de características multimodales tiene tres subredes que se utilizan para extraer características de las imágenes faciales, de la escena y globales. Cada subred consta de dos ramas, en las que la primera extrae las características de los distintos modos, y la otra genera la puntuación de la emoción para cada imagen. Las características y las puntuaciones de emoción de todas las imágenes de una modalidad se agregan para generar la característica de emoción de la modalidad. El otro módulo toma las características multimodales como entrada y genera la puntuación de emoción de cada modalidad. Por último, se agregan las características y las puntuaciones de emoción de los múltiples modos, y se produce la representación final de la emoción del vídeo. Los resultados experimentales muestran que nuestro método propuesto es eficaz en el conjunto de datos de reconocimiento de emociones.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Neurofisiología Proceso de aprendizaje
• Subjects:Artificial intelligence Data mining Genetic algorithms Neurophysiology Learning processes
• Palabras claves:puntuación de emociones, reconocimiento de emociones en vídeo, módulo de extracción de características, imagen diferente, características, información de contexto, modo diferente, red de fusión multimodal, módulo de fusión de características, extracción de características multimodales
• Keywords:emotions score, video emotions recognition, features extraction module, different image, features, context information, different mode, multimodal fusion network, features fusion module, multimodal features extraction