Resumen

En el mundo real, los datos suelen tener una distribución de cola larga y el entrenamiento de redes neuronales profundas en un conjunto de datos tan desequilibrado se ha convertido en un gran reto. El principal problema causado por una distribución de datos de cola larga es que las clases comunes dominarán los resultados del entrenamiento y se logrará una precisión muy baja en las clases raras. Los trabajos recientes se centran en mejorar la capacidad de representación de la red para superar el problema de las colas largas, pero siempre ignoran la adaptación del clasificador de la red a un caso de colas largas, lo que provocará el problema de "incompatibilidad" de la representación de la red y el clasificador de la red. En este trabajo, utilizamos la destilación de conocimientos para resolver el problema de la distribución de datos de cola larga y optimizar completamente la representación y el clasificador de la red de forma simultánea. Proponemos la destilación de conocimiento multiexperto con muestreo equilibrado de clases para aprender conjuntamente una representación de red y un clasificador de alta calidad. Además, se propone un método de destilación de conocimiento basado en la activación de canales para mejorar aún más el rendimiento. El rendimiento de vanguardia en varios conjuntos de datos de clasificación de cola larga a gran escala demuestra la superioridad de la generalización de nuestro método.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Neurofisiología Proceso de aprendizaje
• Subjects:Artificial intelligence Data mining Genetic algorithms Neurophysiology Learning processes
• Palabras claves:distribución de datos de cola, representación de la red, clasificador de la red, red neuronal profunda, capacidad de representación de la red, destilación de conocimientos multiexpertos, métodos de destilación de conocimientos, problema de la red, representación de la red de calidad, conjuntos de datos de clasificación de cola
• Keywords:tailed data distribution, network representation, network classifier, deep neural network, network representation ability, multiexperts knowledge distillation, knowledge distillation methods, problem of network, quality network representation, tailed classification datasets