Resumen

El crecimiento en tamaño y complejidad de las redes neuronales convolucionales (CNNs) está forzando la partición de una red en múltiples aceleradores durante el entrenamiento y la segmentación de los cálculos de retropropagación sobre estos aceleradores. La segmentación resulta en el uso de pesos obsoletos. Los enfoques existentes para el entrenamiento segmentado evitan o limitan el uso de pesos obsoletos con técnicas que subutilizan los aceleradores o aumentan la huella de memoria de entrenamiento. Este artículo aporta un esquema de retropropagación segmentado que utiliza pesos obsoletos para maximizar la utilización del acelerador y mantener la sobrecarga de memoria moderada. Explora el impacto de los pesos obsoletos en la eficiencia estadística y el rendimiento utilizando 4 CNNs (LeNet-5, AlexNet, VGG y ResNet) y muestra que cuando se introduce la segmentación en capas tempranas, el entrenamiento con pesos obsoletos converge y da como resultado modelos con precisión de inferencia comparable a la de aquellos

• Materias:Anillos Modelos dinámicos Teoría de grupos Variedades de curvas Ecuación diferencial
• Subjects:Rings Dynamic models Group theory Varieties of curves Differential Equation
• Palabras claves:Crecimiento; Redes neuronales convolucionales; Encadenamiento; Retropropagación; Pesos obsoletos; Aceleradores
• Keywords:Growth; Convolutional neural networks; Pipelining; Backpropagation; Stale weights; Accelerators