Resumen

El descenso de gradiente es el núcleo y la base de las redes neuronales, y las heurísticas de optimización del descenso de gradiente han acelerado enormemente el progreso en el aprendizaje profundo. Aunque estos métodos son simples y efectivos, aún se desconoce cómo funcionan. La optimización del descenso de gradiente en el aprendizaje profundo se ha convertido en un tema de investigación candente. Algunos esfuerzos de investigación han intentado combinar múltiples métodos para ayudar en el entrenamiento de redes, pero estos métodos parecen ser más empíricos, sin guías teóricas. En este documento, se propone un marco para ilustrar el principio de combinar diferentes métodos de optimización del descenso de gradiente mediante el análisis de varios métodos adaptativos y otros métodos de tasa de aprendizaje. Además, inspirado en el principio de calentamiento, CLR y SGDR, se introduce el concepto de multietapa en el campo de la optimización del descenso de gradiente, y se presenta una estrategia de optimización del descenso de

• Materias:Cifrado de búsqueda Seguridad informática Reconstrucción virtual Detección de intrusos Sistema de programación
• Subjects:Search encryption Computer security Virtual reconstruction Intrusion detection Programming system
• Palabras claves:Descenso de gradiente; Heurística de optimización; Aprendizaje profundo; Tema de investigación; Entrenamiento de redes; Métodos adaptativos
• Keywords:Gradient descent; Optimization heuristics; Deep learning; Research topic; Network training; Adaptive methods