Resumen

El reconocimiento de gestos es una de las formas importantes de interacción entre el ser humano y el ordenador, que se detecta principalmente mediante tecnología visual. Las características temporales y espaciales se extraen mediante la convolución del vídeo que contiene el gesto. Sin embargo, en comparación con el cálculo de la convolución de una sola imagen, la imagen multiframe de los gestos dinámicos tiene más cálculos, una extracción de características más compleja y más parámetros de red, lo que afecta a la eficacia del reconocimiento y al rendimiento en tiempo real del modelo. Para resolver estos problemas, se propone un modelo de reconocimiento de gestos dinámicos basado en CBAM-C3D. La tecnología de extracción de fotogramas clave, el entrenamiento conjunto multimodal y la optimización de la red con la capa BN se utilizan para mejorar el rendimiento de la red. Los experimentos muestran que la precisión de reconocimiento de la red neuronal convolucional 3D propuesta, combinada con el mecanismo de atención, alcanza el 72,4% en el conjunto de datos EgoGesture, lo que mejora enormemente en comparación con los principales métodos actuales de reconocimiento dinámico de gestos, y se verifica la eficacia del algoritmo propuesto.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Neurofisiología Proceso de aprendizaje
• Subjects:Artificial intelligence Data mining Genetic algorithms Neurophysiology Learning processes
• Palabras claves:reconocimiento dinámico de gestos, tecnología de extracción de fotogramas, extracción de fotogramas clave, extracción de características complejas, red neuronal convolucional, interacción con el ordenador, rendimiento temporal, imagen única, entrenamiento conjunto, imagen de múltiples fotogramas
• Keywords:dynamic gesture recognition, frame extraction technology, key frame extraction, complex features extraction, convolutional neural network, computer interaction, time performance, single image, joint training, multiframe image