Resumen

Se diseña un método de sujeción adaptativa (SGD-MS) basado en el radio de curvatura para aliviar el problema de oscilación óptima local en la red neuronal profunda, que combina el radio de curvatura de la función objetivo y el descenso de gradiente del optimizador. El radio de curvatura se considera como el umbral para separar el término de impulso o el término de media móvil del gradiente futuro de forma adaptativa. Además, sobre esta base, proponemos una versión acelerada (SGD-MA), que mejora aún más la velocidad de convergencia utilizando el método del impulso agregado. Los resultados experimentales en varios conjuntos de datos muestran que los métodos propuestos alivian eficazmente el problema de la oscilación óptima local y mejoran en gran medida la velocidad de convergencia y la precisión. En este trabajo también se proporciona un novedoso algoritmo de actualización de parámetros para redes neuronales profundas.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Neurofisiología Proceso de aprendizaje
• Subjects:Artificial intelligence Data mining Genetic algorithms Neurophysiology Learning processes
• Palabras claves:radio de curvatura, red neuronal profunda, problema de oscilación óptima, velocidad de convergencia, oscilación óptima local, métodos de sujeción adaptativos, varios conjuntos de datos, sgd, términos de impulso, parámetros novedosos
• Keywords:radius of curvature, deep neural network, optimal oscillation problem, convergence speed, local optimal oscillation, adaptive clamping methods, several datasets, sgd, momentum terms, novel parameters