Resumen

El autoencoder de eliminación de ruido (DAE) es una de las modas más populares que ha tenido un éxito significativo en la investigación reciente sobre redes neuronales. En concreto, DAE corrompe aleatoriamente a cero algunas características de los datos para utilizar la información de coocurrencia y evitar el sobreajuste. Sin embargo, los enfoques DAE existentes no funcionan bien con datos dispersos y de alta dimensionalidad. En este artículo, presentamos un Autoencoder de Desenmascaramiento denominado Autoencoder de Desenmascaramiento por Instancia (IDA), diseñado para trabajar con datos dispersos y de alta dimensionalidad utilizando la relación de coocurrencia por instancia en lugar de la relación por característica. IDA funciona basándose en la siguiente regla de corrupción: si se selecciona un vector de instancia de característica distinta de cero, se fuerza a que se convierta en un vector cero. Para evitar graves pérdidas de información en caso de que se descarten demasiadas instancias, se considera un conjunto de múltiples autocodificadores independientes construidos sobre diferentes versiones corruptas de los datos. Los amplios resultados experimentales sobre datos de texto dispersos y de alta dimensionalidad muestran la superioridad de IDA en eficiencia y eficacia. También se experimenta con IDA en el entorno del aprendizaje por transferencia heterogéneo y la recuperación cross-modal para estudiar su generalidad en la representación heterogénea de características.

• Materias:Análisis Matemático Matemáticas Algebra Ingeniería Lógica matemática
• Subjects:Mathematical Analysis mathematics Algebra Engineering Mathematical logic
• Palabras claves:Autoencodificador de denostación; DAE; investigación en redes neuronales; datos de alta dimensionalidad; datos dispersos; autoencodificador de denostación por instancias; IDA; relación de coocurrencia; conjunto de múltiples autoencodificadores independientes; eficiencia; eficacia; aprendizaje por transferencia heterogénea; recuperación intermodal; generalidad; representación heterogénea de características.
• Keywords:Denoising autoencoder; DAE; neural network research; high dimensional data; sparse data; Instance-Wise Denoising Autoencoder; IDA; cooccurrence relation; ensemble of multiple independent autoencoders; efficiency; effectiveness; heterogenous transfer learning; cross-modal retrieval; generality; heterogeneous feature representation