Audio effects on haptics perception during drilling simulation

Efectos auditivos en la percepción háptica durante la simulación de perforación con taladro

La realidad virtual ha proporcionado inmersión e interacción a través de entornos generados por computador que intentan reproducir experiencias de la vida real a través de estímulos sensoriales. El realismo puede lograrse a través de interacciones multimodales que pueden mejorar la inmersión y las interacciones si se diseñan adecuadamente. Los avances más notorios están relacionados con la computación gráfica, donde el foto-realismo es la tendencia actual. Asimismo, se tienen otros avances relacionados con el sonido, la háptica y en menor medida, el olfato y el gusto. En la actualidad, las características de los sistemas de realidad virtual (sonido visual-háptico) se están utilizando masivamente en entretenimiento (por ejemplo, cine, videojuegos, arte) y en otros escenarios (por ejemplo, inclusión social, educación, capacitación, terapia y turismo). Por otra parte, la reducción de costos de las tecnologías de realidad virtual ha dado lugar a la disponibilidad a nivel de consumo, de varios tipos de dispositivos hápticos. Dichos dispositivos ofrecen experiencias de baja fidelidad debido a las propiedades de los sensores, pantallas y otros dispositivos electromecánicos, que pueden no ser adecuados para experiencias de alta precisión o en situaciones reales que requieran destreza. Sin embargo, se han realizado investigaciones sobre cómo superar o compensar la falta de fidelidad para proporcionar una experiencia de usuario atractiva utilizando historias, interacciones multimodales y elementos de juego.

Nuestro trabajo se centra en analizar los posibles efectos de la percepción auditiva sobre la retroalimentación háptica dentro de un escenario de perforación con taladro, que implica interacciones multimodales. Esta tarea tiene múltiples aplicaciones en medicina, elaboración y construcción. Comparamos dos escenarios en los que dos grupos de participantes tuvieron que perforar madera mientras escuchaban sonidos contextuales y no contextuales. Además, recopilamos su percepción utilizando una encuesta después de completar la tarea. A partir de los resultados, establecemos que el sonido influye en la percepción háptica, pero se requieren más experimentos para comprender mejor las implicaciones y posibles aplicaciones médicas.

1. INTRODUCCIÓN

Las interacciones multimodales desempeñan un papel importante en nuestras actividades diarias y nos proporcionan una retroalimentación que permite completar una tarea [1]. A la hora de desarrollar habilidades, nuestros sentidos (es decir, la vista, el oído, el gusto, el tacto y el olfato) son clave para determinar y afinar nuestras respuestas [2].