Resumen

Proponemos funciones de activación multiestado (MSAFs) para redes neuronales profundas (DNNs). Estas MSAFs son nuevos tipos de funciones de activación que son capaces de representar más de dos estados, incluyendo las MSAFs de orden N y la MSAF simétrica. Las DNNs con estas MSAFs pueden entrenarse mediante el Descenso Gradiente Estocástico (SGD) convencional, así como mediante el SGD normalizado. También analizamos el rendimiento de estos MSAF cuando se utilizan para resolver problemas de clasificación. Los resultados experimentales en el corpus TIMIT revelan que, en tareas de reconocimiento del habla, las DNNs con MSAFs se comportan mejor que las DNNs convencionales, obteniendo una mejora relativa del 5,60% en las tasas de error de los fonemas. Otros experimentos también revelan que la SGD normalizada por la media facilita los procesos de entrenamiento de las DNNs con MSAFs, especialmente cuando se trata de grandes conjuntos de entrenamiento. Los modelos también pueden entrenarse directamente sin preentrenamiento cuando el conjunto de entrenamiento es lo suficientemente grande, lo que da lugar a una considerable mejora relativa del 5,82% en las tasas de error de las palabras.

• Materias:Inteligencia artificial Algoritmos genéticos Ingeniería civil Neurociencia Cognitiva
• Subjects:Artificial intelligence Genetic algorithms Civil engineering Cognitive Neuroscience
• Palabras claves:msafs, sgd normalizado, tasa de error de fonemas, dnns, función de activación multiestado, mejora relativa considerable, red neuronal profunda, tarea de reconocimiento del habla, tasa de error de palabras, tipo de activación
• Keywords:msafs, normalised sgd, phoneme error rate, dnns, multistate activation function, considerable relative improvement, deep neural network, speech recognition task, word error rate, kind of activation