Resumen

Con el fin de evitar el sobreajuste y mejorar el rendimiento de generalización de la Máquina de Aprendizaje Extremo (ELM), se proponen en este artículo un nuevo método de regularización, Biased DropConnect, y una nueva ELM regularizada utilizando Biased DropConnect y Biased Dropout (BD-ELM). Al igual que el Biased Dropout para nodos ocultos, el Biased DropConnect puede utilizar la diferencia de pesos de conexión para mantener más información de la red después del dropout. El Dropout normal y el DropConnect ponen a 0 los pesos de conexión y la salida de la capa oculta con una probabilidad fija. Sin embargo, los métodos DropConnect sesgado y Dropout sesgado dividen los pesos de conexión y los nodos ocultos en grupos altos y bajos por umbral, y establecen diferentes grupos en 0 con diferentes probabilidades. Los pesos de conexión con un valor alto y los nodos ocultos con un valor de activación alto, que contribuyen más al rendimiento de la red, se mantendrán con una probabilidad de caída más baja, mientras que los pesos y los nodos ocultos con un valor bajo tendrán una probabilidad de caída más alta para mantener la probabilidad de caída de toda la red a una constante fija. Mediante la regularización Biased DropConnect y Biased Dropout, en BD-ELM se mejora la dispersión de los parámetros y se reduce la complejidad estructural. Los experimentos con varios conjuntos de datos de referencia demuestran que Biased DropConnect y Biased Dropout pueden resolver eficazmente el exceso de ajuste, y BD-ELM puede proporcionar una mayor precisión de clasificación que ELM, R-ELM y Drop-ELM.

• Materias:Matemáticas Análisis Matemático Álgebra Ingeniería Matemática aplicada Lógica matemática
• Subjects:mathematics Mathematical Analysis Algebra Engineering Applied Mathematics Mathematical logic
• Palabras claves:biased dropconnect, elm, biased dropout, nodos ocultos, pesos de conexión, máquina de aprendizaje extremo, mayor precisión de clasificación, mayor probabilidad de abandono, menor probabilidad de abandono, nuevo método de regularización
• Keywords:biased dropconnect, elm, biased dropout, hidden nodes, connection weights, extreme learning machine, higher classification accuracy, higher drop probability, lower drop probability, new regularization method