Resumen

La predicción de la saliencia visual de las imágenes RGB-D es más difícil que la de sus homólogas RGB. Además, se han realizado muy pocas investigaciones sobre la predicción de saliencia en RGB-D. El estudio propuesto presenta un método basado en una red de fusión adaptativa multimodal jerárquica (HMAF) para facilitar la predicción de extremo a extremo de la saliencia RGB-D. En el método propuesto, las características multimodales jerárquicas (multinivel) se extraen primero de una imagen RGB y un mapa de profundidad utilizando una red de dos flujos basada en VGG-16. Posteriormente, las características jerárquicas más significativas de dicha imagen RGB y del mapa de profundidad se predicen utilizando tres módulos de atención de dos entradas. Además, la fusión adaptativa de las saliencias relativas a los rasgos de saliencia fusionados de diferentes niveles antes mencionados (rasgos de saliencia de fusión jerárquica) puede llevarse a cabo utilizando un módulo de atención de tres entradas para facilitar la predicción de saliencias visuales RGB-D de alta precisión. Las comparaciones basadas en la aplicación del enfoque basado en HMAF propuesto frente a las de otras técnicas de vanguardia en dos desafiantes conjuntos de datos RGB-D demuestran que el método propuesto supera a otros enfoques competidores de forma consistente por un margen considerable.

• Materias:Minería de datos Algoritmos genéticos Cerebro - fisiopatología Neurociencia Cognitiva Neurofisiología
• Subjects:Data mining Genetic algorithms Brain - pathophysiology Cognitive Neuroscience Neurophysiology
• Palabras claves:predicción de saliencia visual, mapa de profundidad, predicción de rgb, dicha imagen rgb, características de saliencia de fusión, fusión adaptativa multimodal, fusión de saliencia, los métodos propuestos superan, módulo de atención de entrada, características jerárquicas significativas
• Keywords:visual saliency prediction, depth map, prediction of rgb, said rgb image, fusion saliency features, multimodal adaptive fusion, fusion of saliency, proposed methods outperforms, input attention module, significant hierarchical features