Resumen

La fusión de características de fuentes separadas es la dificultad técnica actual del reconocimiento de la emoción del habla entre corpus. El objetivo de este trabajo es, basándose en redes de creencia profunda (DBN) en aprendizaje profundo, utilizar la información emocional oculta en el diagrama de espectro del habla (espectrograma) como características de imagen y luego implementar la fusión de características con las características de emoción tradicionales. En primer lugar, basándose en el análisis del espectrograma mediante el modelo STB/Itti, las nuevas características del espectrograma se extraen del color, el brillo y la orientación, respectivamente; a continuación, utilizando dos modelos DBN alternativos, fusionan las características tradicionales y las del espectrograma, lo que aumenta la escala del subconjunto de características y la capacidad de caracterización de la emoción. Mediante el experimento con la base de datos ABC y corpus chinos, el nuevo subconjunto de características comparado con las características tradicionales de emoción del habla, el resultado de reconocimiento en corpus cruzados, avanza claramente en un 8,8%. El método propuesto proporciona una nueva idea para la fusión de características de reconocimiento de emociones.

• Materias:Ingeniería electrónica Sensores Redes Inalámbricas Tecnología de sensores Procesamiento de señales asistido por computador Procesamiento de datos
• Subjects:Electronic engineering sensors Wireless Networks Sensor technology Signal processing computer-assisted Data processing
• Palabras claves:fusión de características, características tradicionales de las emociones del habla, redes de creencia profunda, modelos alternativos de dbn, dificultades técnicas actuales, nuevo subconjunto de características, nuevas características del espectrograma, reconocimiento de las emociones del habla, diagrama del espectro del habla, características tradicionales de las emociones
• Keywords:feature fusion, traditional speech emotion features, deep belief nets, alternative dbn models, current technical difficulties, new feature subset, new spectrogram features, speech emotion recognition, speech spectrum diagram, traditional emotion features