Resumen

La traducción del lenguaje de signos (SLT) es una importante aplicación para salvar la brecha de comunicación entre personas sordas y oyentes. En los últimos años, la investigación sobre la SLT basada en marcos de traducción neural ha atraído una gran atención. A pesar de los avances, la investigación actual sobre SLT se encuentra todavía en una fase inicial. De hecho, los sistemas actuales tienen un bajo rendimiento en el procesamiento de frases largas de signos, que a menudo implican dependencias de larga distancia y requieren un gran consumo de recursos. Para abordar este problema, proponemos dos adaptaciones explicables a los modelos neurales tradicionales de SLT utilizando módulos optimizados relacionados con la tokenización. En primer lugar, introducimos un algoritmo de compresión de la densidad del flujo de fotogramas (FSDC) para detectar y reducir los fotogramas similares redundantes, lo que acorta eficazmente las frases de signos largas sin perder información. A continuación, sustituimos el codificador tradicional en un módulo de traducción automática neural (NMT) por una arquitectura mejorada, que incorpora una unidad de convolución temporal (T-Conv) y una unidad GRU bidireccional jerárquica dinámica (DH-BiGRU) de forma secuencial. El componente mejorado tiene en cuenta la información de tokenización temporal para extraer información más profunda con un consumo de recursos razonable. Nuestros experimentos con el conjunto de datos RWTH-PHOENIX-Weather 2014T muestran que el modelo propuesto supera a la línea de base del estado del arte hasta una ganancia de 1,5 puntos BLEU-4.

• Materias:Minería de datos Algoritmos genéticos Cerebro - fisiopatología Neurociencia Cognitiva Neurofisiología
• Subjects:Data mining Genetic algorithms Brain - pathophysiology Cognitive Neuroscience Neurophysiology
• Palabras claves:frase de signo largo, compresión de la densidad del flujo, ganancia de puntuación bleu-4, modelo neural slt, gru bidireccional jerárquico, marco de traducción neural, investigación slt actual, marco similar redundante, gran consumo de recursos, atrajo una amplia atención
• Keywords:long sign sentence, stream density compression, bleu-4 score gain, neural slt model, hierarchical bidirectional gru, neural translation framework, current slt research, redundant similar frame, large resources consumption, attracted wide attention