Resumen

En los últimos años, la predicción de regiones salientes en imágenes RGB-D se ha convertido en un foco de investigación. En comparación con su homólogo RGB, la predicción de saliencia de las imágenes RGB-D es más difícil. En este estudio, proponemos un nuevo autocodificador profundo de fusión multimodal para la predicción de saliencia de imágenes RGB-D. El autocodificador central entrenable del modelo de predicción de saliencia RGB-D emplea dos modalidades brutas (RGB e información de profundidad/disparidad) como entradas y sus correspondientes atributos de fijación ocular como etiquetas. El autocodificador consta de cuatro redes principales: red de canales de color, red de canales de disparidad, red de concatenación de características y red de aprendizaje de características. El autocodificador puede extraer la compleja relación y aprovechar al máximo las características complementarias entre las señales de color y disparidad. Por último, el mapa de saliencia se predice a través de una subred de combinación de características, que combina las características profundas extraídas de un aprendizaje previo y subredes de aprendizaje de características convolucionales. Comparamos el autocodificador propuesto con otros modelos de predicción de saliencia en dos conjuntos de datos de referencia disponibles públicamente. Los resultados demuestran que el autocodificador propuesto supera a estos modelos por un margen significativo.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Neurofisiología Proceso de aprendizaje
• Subjects:Artificial intelligence Data mining Genetic algorithms Neurophysiology Learning processes
• Palabras claves:predicción de rgb, modelo de predicción de saliencia, autoencoder propuesto, predicción de saliencia, imagen, subred de combinación de características, rgb, red de canales de disparidad, predicción de saliencia, enfoque de la investigación
• Keywords:prediction of rgb, saliency prediction model, proposed autoencoder, saliency prediction, image, features combination subnetwork, rgb, disparity channel network, prediction of salient, focus of research