Resumen

El objetivo de la recuperación multimodal es encontrar datos relevantes de distintas modalidades, como imágenes y texto. Para salvar la brecha entre modalidades, la mayoría de los métodos existentes requieren muchos pares de muestras acopladas como datos de entrenamiento. Para reducir la demanda de datos de entrenamiento, proponemos un marco de recuperación intermodal que utiliza muestras acopladas y desacopladas. El marco consta de dos partes: La abstracción, que tiene como objetivo proporcionar representaciones monomodales de alto nivel con muestras desacopladas; a continuación, la asociación vincula diferentes modalidades a través de unas pocas muestras de entrenamiento acopladas. Además, bajo este marco, implementamos un método de recuperación cross-modal basado en la consistencia entre la estructura semántica de múltiples modalidades. En primer lugar, tanto las imágenes como el texto se representan con la representación basada en la estructura semántica, que representa cada muestra como su similitud a partir de los puntos de referencia que se generan a partir de la agrupación monomodal. A continuación, los puntos de referencia de las distintas modalidades se alinean mediante una estrategia de aprendizaje activo. Por último, la similitud intermodal puede medirse con la coherencia entre las estructuras semánticas. Los resultados del experimento demuestran que, con una abstracción adecuada de los datos monomodales, la relación entre las distintas modalidades puede simplificarse, y que incluso unos datos de entrenamiento multimodales acoplados limitados son suficientes para obtener una precisión de recuperación satisfactoria.

• Materias:Matemáticas Análisis Matemático Álgebra Ingeniería Matemática aplicada Lógica matemática
• Subjects:mathematics Mathematical Analysis Algebra Engineering Applied Mathematics Mathematical logic
• Palabras claves:distintas modalidades, puntos de referencia, estructura semántica, datos de formación, muestras desacopladas, pocas muestras de formación acopladas, estrategia de aprendizaje activo, marco de recuperación modal, método de recuperación modal, datos de formación modal
• Keywords:different modalities, reference points, semantic structure, training data, uncoupled samples, few coupled training samples, active learning strategy, modal retrieval framework, modal retrieval method, modal training data