Resumen

Este documento propone algunas matrices diagonales que aproximan la (inversa) Hessiana por partes utilizando el principio variacional que es análogo al empleado en la construcción de actualizaciones cuasi-Newton. La forma en que derivamos nuestras aproximaciones está inspirada en el enfoque de actualización de secante de menor cambio, en el cual permitimos que la aproximación diagonal sea la suma de dos matrices diagonales donde la primera matriz diagonal lleva información de la Hessiana local, mientras que la segunda matriz diagonal se elige de manera que induzca la definitividad positiva de la aproximación diagonal en su totalidad. También se presentan algunos resultados numéricos para ilustrar la efectividad de nuestras matrices aproximadas cuando se incorporan dentro del algoritmo L-BFGS.

• Materias:Modelado matemático Modelo de red neuronal Tasa de convergencia Aritmética Ondículas libres
• Subjects:Mathematical modeling Neural network model Convergence rate Arithmetic Free wavelets
• Palabras claves:Propone; Matrices diagonales; Hessiano inverso; Principio variacional; Actualizaciones quasi-Newton; Enfoque de actualización secante
• Keywords:Proposes; Diagonal matrices; Inverse hessian; Variational principle; Quasi-Newton updates; Secant updating approach