Resumen

La población sordomuda siempre se siente impotente cuando no es entendida por los demás y viceversa. Se trata de un gran problema humanitario que necesita una solución localizada. Para resolver este problema, este estudio implementa una red neuronal convolucional (CNN), módulo de atención basado en la convolución (CBAM) para reconocer el lenguaje de signos malayo (MSL) a partir de imágenes. Se llevaron a cabo dos experimentos diferentes para los signos MSL, utilizando CBAM-2DResNet (red residual bidimensional) implementando los métodos "dentro de los bloques" y "antes del clasificador". Se registraron varias métricas como la exactitud, la pérdida, la precisión, el recuerdo, la puntuación F1, la matriz de confusión y el tiempo de entrenamiento para evaluar la eficacia de los modelos. Los resultados experimentales mostraron que los modelos CBAM-ResNet lograron un buen rendimiento en las tareas de reconocimiento de signos MSL, con tasas de precisión superiores al 90% a través de un poco de variaciones. Los modelos CBAM-ResNet "Before Classifier" son más eficientes que los modelos CBAM-ResNet "Within Blocks". Por lo tanto, se elige el modelo mejor entrenado de CBAM-2DResNet para desarrollar un sistema de reconocimiento de signos en tiempo real para traducir de la lengua de signos al texto y del texto a la lengua de signos en una forma fácil de comunicación entre sordomudos y otras personas. Todos los resultados del experimento indicaron que el "clasificador anterior" de los modelos CBAMResNet es más eficiente en el reconocimiento del MSL y merece la pena para futuras investigaciones.

• Materias:Inteligencia artificial Minería de datos Algoritmos genéticos Neurofisiología Proceso de aprendizaje
• Subjects:Artificial intelligence Data mining Genetic algorithms Neurophysiology Learning processes
• Palabras claves:modelo de resnet, gran problema humanitario, tarea de reconocimiento de signos, forma de comunicación, sistema de reconocimiento de signos, red neuronal convolucional, módulo de atención basado, modelo de cbam-2dresnet, lenguaje de signos malayo, reconocimiento de signos msl
• Keywords:resnet model, big humanitarian problem, sign recognition task, way of communications, sign recognition system, convolutional neural network, based attention module, model of cbam-2dresnet, malaysian sign language, msl sign recognition