Resumen

Para avanzar en el estudio del reconocimiento de lectura de labios de acuerdo con las normas de pronunciación chinas, investigamos cuidadosamente el reconocimiento de tonos mandarines basado en información visual, en contraste con la técnica de lectura de labios china basada en caracteres previos. En este documento, estudiamos principalmente la transformación tonal de las vocales en la pronunciación china y diseñamos un marco de red de convolución ligero que salta (SCNet). Los resultados experimentales mostraron que el SCNet era sensible a una descripción más detallada del cambio de tono que el modelo tradicional y logró un mejor efecto de reconocimiento tonal y un rendimiento antiinterferencias sobresaliente. Además, realizamos un estudio más detallado sobre la asistencia de la información de textura profunda en el reconocimiento de lectura de labios. Descubrimos que la información de textura profunda tiene un efecto significativo en el reconocimiento tonal, y se confirmó la posibilidad de lectura de labios multimodal en el reconocimiento tonal chino. De manera similar, verificamos

• Materias:Virus informático Entropía del gráfico Modelo epidémico Modelo de optimización Modelos conceptuales
• Subjects:Computer virus Entropy of the graph Epidemic model Optimization model Conceptual models
• Palabras claves:Lectura de labios; Pronunciación china; Reconocimiento de tono; SCNet; Información profunda de textura; Lectura de labios multimodal
• Keywords:Lip-reading; Chinese pronunciation; Tone recognition; SCNet; Deep texture information; Multimodal lip reading