Resumen

Transformer es un modelo de traducción neuronal que revoluciona la traducción automática. En comparación con los modelos tradicionales de traducción automática estadística y otros modelos de traducción automática neuronal, el modelo transformer propuesto recientemente cambia radical y fundamentalmente la traducción automática con sus mecanismos de autoatención y atención cruzada. Estos mecanismos modelan de manera efectiva las alineaciones de tokens entre las oraciones fuente y las oraciones objetivo. Se ha informado que el modelo transformer proporciona alineaciones posteriores precisas. En este trabajo, demostramos de manera empírica el efecto inverso, mostrando que las alineaciones previas ayudan a los modelos transformer a producir mejores traducciones. Los resultados experimentales en la tarea de traducción de noticias vietnamitas-inglés muestran no solo el efecto positivo de las alineaciones manualmente anotadas en los modelos transformer, sino también el sorprendente rendimiento superior de las alineaciones construidas estadísticamente reforzadas con la flexibilidad de la selección de tipo de token sobre las alineaciones manuales para mejorar

• Materias:Funciones Flujo de información Estudio de población Modelado de sistemas Modelo de campo
• Subjects:Functions Information flow Population study System modeling Field model
• Palabras claves:Transformador; Traducción automática; Autoatención; Mecanismos de atención cruzada; Alineamientos; Puntuación BLEU
• Keywords:Transformer; Machine translation; Self-attention; Cross-attention mechanisms; Alignments; BLEU score