Resumen

En este trabajo, introducimos AdaCN, un nuevo método Newton cúbico adaptativo para la optimización estocástica no convexa. AdaCN captura dinámicamente la curvatura del paisaje de pérdidas mediante la aproximación diagonal del hessiano más la norma de diferencia entre las dos estimaciones anteriores. Sólo requiere como máximo gradientes de primer orden y actualizaciones con una complejidad lineal tanto en tiempo como en memoria. Para reducir la varianza introducida por la naturaleza estocástica del problema, AdaCN contrata el primer y segundo momento para implementar y la media móvil exponencial sobre los gradientes estocásticos actualizados iterativamente y los hessianos estocásticos aproximados, respectivamente. Validamos AdaCN en amplios experimentos, mostrando que supera a otros métodos estocásticos de primer orden (incluyendo SGD, Adam y AdaBound) y al método estocástico de cuasi-Newton (es decir, Apollo), tanto en términos de velocidad de convergencia como de rendimiento de generalización.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Neurofisiología Proceso de aprendizaje
• Subjects:Artificial intelligence Data mining Genetic algorithms Neurophysiology Learning processes
• Palabras claves:adacn, norma de la diferencia, métodos newton cúbicos, newton cúbico adaptativo, métodos de primer orden, gradiente estocástico actualizado, gradiente de primer orden, paisaje de pérdidas, segundo momento, velocidad de convergencia
• Keywords:adacn, norm of difference, cubic newton methods, adaptive cubic newton, first order methods, updated stochastic gradient, first order gradient, loss landscape, second moment, convergence speed