Resumen

La mayoría de los modelos de localización de fuentes de habla binaural tienen un rendimiento deficiente en situaciones inusualmente ruidosas y reverberantes. Aquí, este problema se aborda modelando una red neuronal convolucional (CNN) dilatada multisegmentada. La función de correlación cruzada relacionada con el tiempo (CCF) y las diferencias de nivel interaural relacionadas con la energía (ILD) se preprocesan en ramas separadas de la red convolucional dilatada. La CNN dilatada multisegmentada puede codificar representaciones discriminativas para CCF e ILD, respectivamente. Después de la codificación, las representaciones interaurales individuales se fusionan para mapear la dirección de la fuente. Además, para mejorar la adaptación de parámetros, se propone una nueva entropía semiadaptativa para entrenar la red bajo restricciones direccionales. Los resultados experimentales muestran que el método propuesto puede localizar de manera adaptativa fuentes de habla en entornos ruidosos y reverberantes simulados.

• Materias:Big Data Gestión de riesgos Administración de información Red neuronal Teoría de redes
• Subjects:Big Data Risk management Information management Neural network Network Theory
• Palabras claves:Binaural; Localización de la fuente del habla; Red neuronal convolucional dilatada; Función de correlación cruzada; Diferencias de nivel interaural; Entropía
• Keywords:Binaural; Speech source localization; Dilated convolutional neural network; Crosscorrelation function; Interaural level differences; Entropy