Resumen

En este trabajo, proponemos un novedoso método de aprendizaje multitarea basado en la red convolucional profunda. La red profunda propuesta tiene cuatro capas convolucionales, tres capas de agrupación máxima y dos capas paralelas totalmente conectadas. Para ajustar la red profunda al problema de aprendizaje multitarea, proponemos aprender una red profunda de bajo rango para poder explorar la relación entre las diferentes tareas. Proponemos minimizar el número de filas de parámetros independientes de una capa totalmente conectada para explorar las relaciones entre las diferentes tareas, que se mide por la norma nuclear del parámetro de una capa totalmente conectada, y buscar una matriz de parámetros de bajo rango. Mientras tanto, también proponemos regularizar otra capa totalmente conectada mediante una penalización de dispersión para poder seleccionar las características útiles aprendidas por las capas inferiores. El problema de aprendizaje se resuelve mediante un algoritmo iterativo basado en los algoritmos de descenso de gradiente y de retropropagación. El algoritmo propuesto se evalúa sobre conjuntos de datos de referencia de predicción de atributos faciales múltiples, procesamiento de lenguaje natural multitarea y predicciones conjuntas de índices económicos. Los resultados de la evaluación muestran la ventaja del modelo CNN profundo de bajo rango en los problemas multitarea.

• Materias:Biotecnología Minería de datos Algoritmo genético Neurociencia Cognitiva Neurofisiología
• Subjects:Biotechnology Data mining Genetic algorithm Cognitive Neuroscience Neurophysiology
• Palabras claves:capa conectada, red profunda, tarea diferente, red convolucional profunda, métodos de aprendizaje multitarea, fila de parámetros independientes, matriz de parámetros de rango, modelo cnn profundo, procesamiento del lenguaje natural, problema de aprendizaje multitarea
• Keywords:connected layer, deep network, different task, deep convolutional network, multitask learning methods, independent parameters row, rank parameters matrix, deep cnn model, natural language processing, multitask learning problem