Resumen

En la actualidad, la brecha de heterogeneidad entre diferentes modalidades es el problema clave para la recuperación cruzada de modalidades. Para superar las brechas de heterogeneidad, es necesario explorar las posibles correlaciones entre las diferentes modalidades. Al mismo tiempo, se utiliza la información semántica de las etiquetas de clase para reducir las brechas semánticas entre los datos de diferentes modalidades y lograr la interdependencia y la interoperabilidad de los datos heterogéneos. Con el fin de explotar completamente la correlación potencial de las diferentes modalidades, proponemos un marco de recuperación cruzada basado en la regularización de grafos y la dependencia de modalidad (GRMD, por sus siglas en inglés). En primer lugar, considerando la correlación potencial de características y la correlación semántica, se aprenden diferentes matrices de proyección para diferentes tareas de recuperación, como la consulta de imagen a texto (I2T) o la consulta de texto a imagen (T2I). En segundo lugar, utilizando la estructura interna del espacio de características original, se construye un grafo adyacente con restricciones de información semántica que pueden hacer que las diferentes etiquetas de datos heterogéneos se acerquen a la información semántica correspondiente. Los resultados experimentales en tres conjuntos de datos ampliamente utilizados demuestran la efectividad de nuestro método.

• Materias:Red 5G Internet de las cosas Seguridad de la información Tecnologías de comunicación
• Subjects:5G Network Internet of things Information security Communication technologies
• Palabras claves:Brecha de heterogeneidad; Recuperación intermodal; Correlaciones potenciales; Información semántica; Regularización de gráficos; Dependencia de la modalidad.
• Keywords:Heterogeneity gap; Cross-modal retrieval; Potential correlations; Semantic information; Graph regularization; Modality dependence