Resumen

En este trabajo se propone un nuevo esquema de ensemble para máquinas de aprendizaje extremo (ELM), denominado Máquina de Aprendizaje Extremo basada en Gradiente Estocástico (SGB-ELM). En lugar de incorporar el método de refuerzo de gradiente estocástico en el procedimiento de ensamble de ELM de forma primitiva, SGB-ELM construye una secuencia de ELMs débiles donde cada ELM individual se entrena de forma aditiva mediante la optimización del objetivo regularizado. Específicamente, diseñamos una función objetivo basada en el mecanismo de refuerzo donde se introduce simultáneamente un elemento de regularización para aliviar el sobreajuste. A continuación, la fórmula de derivación destinada a resolver los pesos de la capa de salida de cada ELM débil se determina utilizando la optimización de segundo orden. Como la fórmula de derivación es difícil de calcular analíticamente y el objetivo regularizado tiende a emplear funciones simples, tomamos los pesos de la capa de salida aprendidos por los pseudo-residuos actuales como elemento heurístico inicial y así obtenemos los pesos óptimos de la capa de salida utilizando la fórmula de derivación para actualizar el elemento heurístico iterativamente. En comparación con varios métodos típicos de conjuntos ELM, SGB-ELM consigue un mejor rendimiento de generalización y robustez de predicción, lo que demuestra la viabilidad y eficacia de SGB-ELM.

• Materias:Biotecnología Minería de datos Algoritmos genéticos Cerebro - fisiopatología Neurofisiología
• Subjects:Biotechnology Data mining Genetic algorithms Brain - pathophysiology Neurophysiology
• Palabras claves:peso de la capa, elm, máquina de aprendizaje extremo, fórmula de derivación, refuerzo de gradiente estocástico, elm débil, objetivos regularizados, aprendizaje extremo basado, eficacia del sgb, sgb
• Keywords:layer weight, elm, extreme learning machine, derivation formula, stochastic gradient boosting, weak elm, regularized objectives, based extreme learning, effectiveness of sgb, sgb