Prototipo traductor de señales manuales a texto legible, utilizando Kinect

Translator prototype of hand signals a text using kinect

El prototipo desarrollado es capaz de tomar los puntos de una escena captada por medio del sensor de profundidad de Kinect, aplicar un filtro para eliminar datos innecesarios y posteriormente mostrar el Mes o maya que reconstruye la imagen de la escena final en 2D, estableciendo la diferencia de distancias con el cambio de color. El aplicativo detécta la localización de la o las manos en el Mesh, luego toma imágenes del gesto manual y las compara con imágenes almacenadas en archivo; estas cuentan con la traducción respectiva. Si encuentra una imagen con alto grado de coincidencia se devuelve el texto correspondiente. Los resultados dela investigación permiten reconocer las fases, librerías y plataformas óptimas para el procesamiento de imágenes, implementado en el prototipo.

1. Introducción

El desarrollo de herramientas tecnológicas lleva consigo el desarrollo de las regiones; las orientaciones y diseños propuestos han permitido que personas con discapacidades puedan desenvolverse mejor en un medio que no está preparado para ellos. Las personas no oyentes sufren las consecuencias de manejar un lenguaje diferente al oralismo; ellos deben aprender la dactilología, lenguaje basado en las posiciones de la mano, no obstante, mucha gente de la comunidad en general, lo desconoce, y es ahí donde la comunicación interpersonal se ve truncada.

La tecnología útil y que está dispuesta para tal fin, es el análisis de imágenes, el cual está definido en el artículo “Procesamiento de imágenes digitales”, de la Universidad Autónoma de Puebla, en México, como un proceso que consiste en la extracción de características y propiedades de las imágenes, así como la clasificación, identificación y reconocimiento de patrones, indicando la importancia científico-técnica de este campo, no solo en las ciencias, sino principalmente en la sociedad; asimismo, las empresas y desarrolladores de software han enfocado sus estudios en el reconocimiento facial: la principal razón es la necesidad de aplicaciones de seguridad y vigilancia utilizadas en diferentes contextos. Los sistemas de reconocimiento facial pertenecen a las técnicas FRT (Face Recognition Thecniques), las cuales, por medio del método de las EigenFaces, considera las propiedades globales del patrón, mientras que las eingenfeautres consideran un conjunto de características geométricas de la cara. En el proyecto se reenfocaron e implementaron los métodos y técnicas propias del reconocimiento facial para el análisis de las posiciones de la mano.

Finalmente, el artículo considera los siguientes asuntos de forma sucesiva: metodología, resultados, aportes y conclusiones.

2. Metodología

Para el funcionamiento de Kinect se utilizaron los controladores Primesense [1] y OpenNi [2]. Durante las pruebas se desarrolló un aplicativo que contó con una interfaz que permitió inicializar el sensor, activar el flujo de la cámara de profundidad a una resolución de 640x480 y con una frecuencia de 30 fps (imágenes por segundo), utilizar la función Skeleton [3] para detectar las articulaciones de un cuerpo humanoide (controlar la inclinación que abarca de -27 a 27 grados). Como resultado de las pruebas, el aplicativo mostró tres imágenes procesadas por el sensor de Kinect, las cuales corresponden al DepthStream o flujo de profundidad, flujo RGB y a función Skeleton (ver Figura 1).