Resumen

Este estudio se centra en la utilización del sensor de profundidad Kinect para realizar un seguimiento de los gestos a dos manos y controlar un brazo robótico en tiempo real. El sistema de control se compone principalmente del microprocesador, una cámara en color, el sensor de profundidad y el brazo robótico. El sensor de profundidad Kinect se utilizó para tomar fotos del cuerpo humano, analizar el esqueleto de un cuerpo humano y obtener la información pertinente. Dicha información se utilizó para identificar los gestos de la mano izquierda y la palma izquierda del usuario. El gesto de la mano izquierda se utilizó como dispositivo de entrada de comandos. El gesto de la mano derecha se utilizó para enseñar el movimiento de imitación del brazo robótico. A partir del sensor de profundidad, se recogieron las imágenes en tiempo real del cuerpo humano y la información profunda de cada articulación y se convirtieron en las posiciones relativas del brazo robótico. Combinando la cinemática directa y la inversa y el enlace D-H, se calculó la información gestual de la mano derecha, que se convirtió mediante coordenadas en cada ángulo del motor del brazo robótico. Desde la cámara en color, cuando no se detectaba la palma izquierda, el usuario podía utilizar simplemente la mano derecha para controlar la acción y el movimiento del brazo robótico en tiempo real. Cuando se detectaba la palma de la mano izquierda y se identificaban 5 yemas de los dedos, significaba el inicio de la grabación del movimiento de imitación en tiempo real del brazo robótico por la mano derecha. Cuando se identificó la punta de 0 dedos, significó la detención de la grabación anterior. Cuando se identificaban 2 yemas de los dedos, el usuario no sólo podía controlar el brazo robótico en tiempo real, sino también repetir las acciones grabadas.

• Materias:Biotecnología Minería de datos Redes de sensores Sistema de sensores Tecnología de sensores
• Subjects:Biotechnology Data mining Sensor networks Sensor system Sensor technology
• Palabras claves:brazo robótico, mano derecha, sensor de profundidad kinect, cuerpo humano, palma izquierda, tiempo, usuario, cámara en color, sensor de profundidad, mano izquierda
• Keywords:robotic arm, right hand, kinect depth sensor, human body, left palm, time, user, color camera, depth sensor, left hand