Resumen

El reconocimiento de acciones humanas basado en esqueletos ha atraído mucha atención en el campo de la visión por ordenador. La mayoría de los estudios anteriores se basan en gráficos de esqueleto fijos, de modo que sólo se pueden captar las dependencias físicas locales entre las articulaciones, lo que da lugar a la omisión de las correlaciones articulares implícitas. Además, bajo diferentes vistas, el contenido de la misma acción es muy diferente. En algunas vistas, los puntos clave estarán bloqueados, lo que provocará errores de reconocimiento. En este trabajo, se propone un método de reconocimiento de acciones basado en el vector distancia y la red adaptativa de vistas múltiples (DV-MHNet) para abordar esta difícil tarea. Entre las técnicas mencionadas, se construyen las redes adaptativas de vistas multialtas (MH) para determinar automáticamente la mejor vista de observación a diferentes alturas, obtener información completa de los puntos clave de la imagen del fotograma actual y mejorar la robustez y generalización del modelo para reconocer acciones a diferentes alturas. A continuación, se introduce el mecanismo del vector de distancia (DV) sobre esta base para establecer la distancia relativa y la orientación relativa entre diferentes puntos clave en el mismo fotograma y los mismos puntos clave en diferentes fotogramas para obtener la relación potencial global de cada punto clave y, finalmente, mediante la construcción de la red convolucional de grafos temporales espaciales para tener en cuenta la información en el espacio y el tiempo, se aprenden las características de la acción. En este trabajo se ha realizado el estudio de ablación con redes convolucionales de grafos espacio-temporales tradicionales y con o sin redes adaptativas de vistas múltiples, lo que demuestra razonablemente la eficacia del modelo. El modelo se evalúa en dos benchmarks de reconocimiento de acciones ampliamente utilizados (NTU-RGB D y PKU-MMD). Nuestro método consigue un mejor rendimiento en ambos conjuntos de datos.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Neurofisiología Proceso de aprendizaje
• Subjects:Artificial intelligence Data mining Genetic algorithms Neurophysiology Learning processes
• Palabras claves:red adaptativa, grafo espacio temporal, altura diferente, vista multialtura, red convolucional, vector de distancia, campo de computación, métodos de reconocimiento de acciones, grafo de esqueleto fijo, correlación conjunta implícita
• Keywords:adaptive network, spatial temporal graph, different height, multihigh view, convolutional network, distance vector, field of computer, action recognition methods, fixed skeleton graph, implicit joint correlation