Resumen

La microexpresión puede manifestar el estado de ánimo real de los seres humanos, lo que ha sido ampliamente utilizado en el diagnóstico clínico y el análisis de la depresión. Para resolver el problema de la falta de características espaciotemporales discriminativas en un conjunto de datos pequeño causado por la corta duración y los sutiles cambios de movimiento de la microexpresión, presentamos una red de atención espaciotemporal de doble flujo (DSTAN) que integra una red espaciotemporal de doble flujo y un mecanismo de atención para capturar las características de deformación y las características espaciotemporales de la microexpresión en el caso de muestras pequeñas. Las redes espaciotemporales de DSTAN se basan en dos redes ligeras: la red de apariencia espaciotemporal (STAN), que aprende las características de apariencia a partir de secuencias de microexpresión, y la red de movimiento espaciotemporal (STMN), que aprende las características de movimiento a partir de secuencias de flujo óptico. Para centrarnos en las áreas de movimiento discriminativas de la microexpresión, construimos un novedoso mecanismo de atención para el modelo espacial de STAN y STMN, que incluye un mecanismo de atención espacial de kernel multiescala y un mecanismo de atención global de doble canal. Para obtener la importancia de cada fotograma en la secuencia de microexpresiones, diseñamos un mecanismo de atención temporal para el modelo temporal de STAN y STMN para formar una red de atención de apariencia espaciotemporal (STAN-A) y una red de atención de movimiento espaciotemporal (STMN-A), que pueden realizar de forma adaptativa un refinamiento dinámico de las características. Por último, se utiliza el método de concatenación de características-SVM para integrar STAN-A y STMN-A en una nueva red, DSTAN. Los extensos experimentos con tres pequeños conjuntos de datos de microexpresiones espontáneas de SMIC, CASME y CASME II demuestran que la DSTAN propuesta puede hacer frente con eficacia al reconocimiento de microexpresiones.

• Materias:Insuficiencia cardíaca Plataforma de servicios Filtro de orden óptimo Características clínicas Osteoporosis
• Subjects:Heart failure Platform services Optimal order filtering Clinical features Osteoporosis
• Palabras claves:STAN, STMN, red de apariencia espaciotemporal, red de movimiento espaciotemporal, A, DSTAN, microexpresión, mecanismo de atención de canal común, pequeños conjuntos de datos de microexpresión espontánea, áreas de movimiento discriminativas.
• Keywords:STAN, STMN, spatiotemporal appearance network, spatiotemporal motion network, A, DSTAN, microexpression, pool channel attention mechanism, small spontaneous microexpression data sets, discriminative motion areas