Resumen

El reconocimiento de los gestos de la mano es un tema difícil en el campo de la visión por ordenador. El reconocimiento multimodal de los gestos de la mano basado en RGB-D es más preciso que el que se realiza sólo con RGB o con la profundidad. No es difícil concluir que la ganancia se origina en la información complementaria existente en las dos modalidades. Sin embargo, en la realidad, los datos multimodales no siempre son fáciles de adquirir simultáneamente, mientras que los datos de gestos de la mano unimodales RGB o de profundidad son más generales. Por lo tanto, se espera un sistema de gestos de la mano en el que sólo se admitan datos unimodales RGB o de profundidad para las pruebas, mientras que los datos multimodales RGB-D estén disponibles para el entrenamiento, a fin de obtener la información complementaria. Afortunadamente, se ha propuesto un tipo de método mediante el entrenamiento multimodal y la prueba unimodal. Sin embargo, la representación unimodal de las características y la transferencia de la modalidad cruzada aún deben ser mejoradas. Con este fin, este trabajo propone una nueva ConvNet 3D inflada de atención espacial y fantasma (3DGSAI) para extraer características de alta calidad para cada modalidad. La base de la red 3DGSAI es la ConvNet 3D inflada (I3D), y se proponen dos mejoras principales. Una es el módulo 3D-Ghost, y la otra es el mecanismo de atención espacial. El módulo 3D-Ghost puede extraer características más ricas para la representación del gesto de la mano, y el mecanismo de atención espacial hace que la red preste más atención a la región de la mano. Este trabajo también propone un parámetro adaptativo para la transferencia positiva de conocimientos, que garantiza que la transferencia se produzca siempre desde la red de modalidad fuerte a la débil. Amplios experimentos con los conjuntos de datos SKIG, VIVA y NVGesture demuestran que nuestro método es competitivo con el estado del arte. En particular, el rendimiento de nuestro método alcanza el 97,87% en el conjunto de datos SKIG utilizando sólo RGB, que es el mejor resultado actual.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Neurofisiología Proceso de aprendizaje
• Subjects:Artificial intelligence Data mining Genetic algorithms Neurophysiology Learning processes
• Palabras claves:reconocimiento de gestos de la mano, mecanismo de atención espacial, convnet 3d inflado, información complementaria, módulo fantasma, representación de características unimodales, rgb, campo de computación, línea base de 3dgsai, sistema de gestos de la mano
• Keywords:hand gesture recognition, spatial attention mechanism, inflated 3d convnet, complementary information, ghost module, unimodal features representation, rgb, field of computer, baseline of 3dgsai, hand gesture system