Resumen

El aumento de la sofisticación de los modelos de redes neuronales en los últimos años ha incrementado exponencialmente el consumo de memoria y el coste computacional, dificultando así sus aplicaciones en ASIC, FPGA y otros dispositivos móviles. Por ello, es necesario comprimir y acelerar las redes neuronales. En este estudio, introducimos una estrategia novedosa para entrenar redes de pocos bits con pesos y activaciones cuantificados en varios bits y abordamos dos cuestiones fundamentales correspondientes. Una de ellas es aproximar las activaciones mediante la discretización de bajos bits para disminuir el coste computacional de la red y la memoria del producto punto. La otra es especificar la cuantificación de los pesos y el mecanismo de actualización de los pesos discretos para evitar el desajuste del gradiente. Con los pesos y las activaciones cuantificadas de bajo bit, la costosa operación de precisión total será sustituida por la operación de desplazamiento. Evaluamos el método propuesto en conjuntos de datos comunes, y los resultados muestran que este método puede comprimir drásticamente la red neuronal con una ligera pérdida de precisión.

• Materias:Minería de datos Algoritmos genéticos Cerebro - fisiopatología Neurociencia Cognitiva Neurofisiología
• Subjects:Data mining Genetic algorithms Brain - pathophysiology Cognitive Neuroscience Neurophysiology
• Palabras claves:coste computacional, red neuronal, consumo de memoria ampliado, modelo de red neuronal, activación, ligera pérdida de precisión, operaciones de precisión, cuantificación de pesos, cuestiones fundamentales, métodos propuestos
• Keywords:computational cost, neural network, expanded memory consumption, neural network model, activation, slight accuracy loss, precision operations, weight quantization, fundamental issues, proposed methods