Resumen

La traducción de voz (ST) es una tarea de conversión bimodal del habla de origen al texto de destino. Generalmente, los sistemas de ST basados en aprendizaje profundo requieren datos de entrenamiento suficientes para obtener un resultado competitivo, incluso con un modelo de última generación. Sin embargo, los datos de entrenamiento suelen ser incapaces de cumplir con la condición de completitud debido a los problemas de muestras pequeñas. La mayoría de las tareas de ST de recursos limitados mejoran la integridad de los datos con un solo modelo, pero esta optimización tiene una sola dimensión y una efectividad limitada. En contraste, la multimodalidad se introduce para aprovechar diferentes dimensiones de características de datos para modelado multiperspectiva. Este enfoque aborda mutuamente las brechas en las diferentes modalidades para mejorar la representación de los datos y mejorar la utilización de las muestras de entrenamiento. Por lo tanto, es un nuevo desafío aprovechar la enorme información multimodal fuera del dominio para mejorar las tareas de recursos limitados. Este artículo describe cómo utilizar la información multimodal fuera del dominio para mejorar los

• Materias:Cifrado de búsqueda Seguridad informática Reconstrucción virtual Detección de intrusos Sistema de programación
• Subjects:Search encryption Computer security Virtual reconstruction Intrusion detection Programming system
• Palabras claves:Traducción de voz; Multimodalidad; Bajos recursos; Aprendizaje profundo; Datos de entrenamiento; Decodificador multimodal.
• Keywords:Speech translation; Multimodality; Low-resource; Deep learning; Training data; Multimodal decoder