Resumen

Se propone un método de recuperación de texto y voz entre modalidades cruzadas utilizando un codificador automático de convolución de aprendizaje interactivo (CAE). En primer lugar, se propone una estructura de autoencoder de aprendizaje interactivo, que incluye dos entradas de voz y texto, así como enlaces de procesamiento como codificación, interacción de capas ocultas y decodificación, para completar el modelado de la recuperación de texto y voz entre modalidades cruzadas. Luego, la señal de audio original se preprocesa y se extrae la característica de coeficiente cepstral de frecuencia de Mel (MFCC). Además, se utiliza el modelo de bolsa de palabras para extraer las características del texto, y luego se utiliza el mecanismo de atención para combinar las características del texto y de la voz. A través del aprendizaje interactivo CAE, se obtienen las características compartidas de las modalidades de voz y texto y luego se envían al clasificador modal para identificar la información modal, con el fin de realizar la recuperación de texto y voz entre modalidades cruzadas. Finalmente, los experimentos muestran

• Materias:Colonias de abejas artificiales Inteligencia artificial Patrón espacial Innovación de la comunicación Algoritmo de red neuronal
• Subjects:Artificial bee colonies Artificial intelligence Spatial pattern Communication innovation Neural network algorithm
• Palabras claves:Propuesto; Multimodal; Aprendizaje interactivo; AEV; Características; Recuperación
• Keywords:Proposed; Cross-modal; Interactive learning; CAE; Features; Retrieval