Imagínese tener que ordenar una cocina desordenada, empezando por una encimera llena de paquetes de salsa. Si su objetivo es limpiar la encimera, puede barrer los paquetes en grupo. Sin embargo, si quisiera seleccionar primero los paquetes de mostaza antes de tirar el resto, los clasificaría de forma más selectiva, por tipo de salsa. Y si, entre las mostazas, se le antojaba Grey Poupon, encontrar esta marca específica implicaría una búsqueda más cuidadosa.

Los ingenieros del MIT han desarrollado un método que permite a los robots tomar decisiones igualmente intuitivas y relevantes para la tarea.

El nuevo enfoque del equipo, llamado Clio, permite que un robot identifique las partes de una escena que son importantes, dadas las tareas en cuestión. Con Clio, un robot toma una lista de tareas descritas en lenguaje natural y, en función de ellas, determina el nivel de granularidad necesario para interpretar su entorno y "recordar" solo las partes de una escena que son relevantes.

En experimentos reales que abarcaron desde un cubículo desordenado hasta un edificio de cinco pisos en el campus del MIT, el equipo utilizó Clio para segmentar automáticamente una escena en diferentes niveles de granularidad, basándose en un conjunto de tareas especificadas en indicaciones en lenguaje natural como "mover estante de revistas" y "traer botiquín de primeros auxilios".

El equipo también ejecutó Clio en tiempo real en un robot cuadrúpedo. Mientras el robot exploraba un edificio de oficinas, Clio identificaba y mapeaba solo aquellas partes de la escena que se relacionaban con las tareas del robot (como recuperar un juguete para perros mientras ignoraba pilas de suministros de oficina), lo que le permitía agarrar los objetos de interés.

Clio recibe su nombre de la musa griega de la historia, por su capacidad de identificar y recordar solo los elementos que son importantes para una tarea determinada. Los investigadores prevén que Clio sería útil en muchas situaciones y entornos en los que un robot tendría que examinar y comprender rápidamente su entorno en el contexto de su tarea asignada.

“La búsqueda y el rescate son la aplicación que motiva este trabajo, pero Clio también puede impulsar robots domésticos y robots que trabajan en una fábrica junto con humanos”, dice Luca Carlone, profesor asociado en el Departamento de Aeronáutica y Astronáutica del MIT (AeroAstro), investigador principal en el Laboratorio de Sistemas de Información y Decisión (LIDS) y director del Laboratorio SPARK del MIT. “Se trata realmente de ayudar al robot a comprender el entorno y lo que tiene que recordar para llevar a cabo su misión”.

El equipo detalla sus resultados en un estudio que aparece hoy en la revista Robotics and Automation Letters . Entre los coautores de Carlone se incluyen miembros del SPARK Lab: Dominic Maggio, Yun Chang, Nathan Hughes y Lukas Schmid; y miembros del MIT Lincoln Laboratory: Matthew Trang, Dan Griffith, Carlyn Dougherty y Eric Cristofalo.

Campos abiertos

Los enormes avances en los campos de la visión artificial y el procesamiento del lenguaje natural han permitido a los robots identificar objetos en su entorno. Pero hasta hace poco, los robots solo podían hacerlo en escenarios de “conjunto cerrado”, donde están programados para trabajar en un entorno cuidadosamente seleccionado y controlado, con un número finito de objetos que el robot ha sido entrenado previamente para reconocer.

En los últimos años, los investigadores han adoptado un enfoque más “abierto” para permitir que los robots reconozcan objetos en entornos más realistas. En el campo del reconocimiento en entornos abiertos, los investigadores han aprovechado herramientas de aprendizaje profundo para construir redes neuronales que pueden procesar miles de millones de imágenes de Internet, junto con el texto asociado a cada imagen (como la foto de un perro de un amigo en Facebook, con el título “¡Conoce a mi nuevo cachorro!”).

A partir de millones de pares de imágenes y textos, una red neuronal aprende y luego identifica los segmentos de una escena que son característicos de ciertos términos, como un perro. Un robot puede entonces aplicar esa red neuronal para detectar un perro en una escena totalmente nueva.

Pero aún persiste el desafío de cómo analizar una escena de una manera útil que sea relevante para una tarea particular.

“Los métodos típicos eligen un nivel de granularidad fijo y arbitrario para determinar cómo fusionar segmentos de una escena en lo que se puede considerar como un "objeto", dice Maggio. “Sin embargo, la granularidad de lo que llamamos un "objeto" en realidad está relacionada con lo que el robot tiene que hacer. Si esa granularidad es fija sin tener en cuenta las tareas, entonces el robot puede terminar con un mapa que no sea útil para sus tareas”.

Cuello de botella de información

Con Clio, el equipo del MIT pretendía permitir que los robots interpretaran su entorno con un nivel de granularidad que pudiera ajustarse automáticamente a las tareas en cuestión.

Por ejemplo, si se le da la tarea de mover una pila de libros a un estante, el robot debería poder determinar que toda la pila de libros es el objeto relevante para la tarea. Del mismo modo, si la tarea consistiera en mover solo el libro verde del resto de la pila, el robot debería distinguir el libro verde como un único objeto objetivo y hacer caso omiso del resto de la escena, incluidos los demás libros de la pila.

El enfoque del equipo combina la visión artificial de última generación y grandes modelos de lenguaje que comprenden redes neuronales que establecen conexiones entre millones de imágenes de código abierto y texto semántico. También incorporan herramientas de mapeo que dividen automáticamente una imagen en muchos segmentos pequeños, que pueden introducirse en la red neuronal para determinar si ciertos segmentos son semánticamente similares. Luego, los investigadores aprovechan una idea de la teoría clásica de la información llamada "cuello de botella de información", que utilizan para comprimir una serie de segmentos de imagen de una manera que selecciona y almacena los segmentos que son semánticamente más relevantes para una tarea determinada.

“Por ejemplo, supongamos que hay una pila de libros en la escena y mi tarea es simplemente obtener el libro verde. En ese caso, pasamos toda esta información sobre la escena a través de este cuello de botella y terminamos con un grupo de segmentos que representan el libro verde”, explica Maggio. “Todos los demás segmentos que no son relevantes simplemente se agrupan en un grupo que podemos eliminar fácilmente. Y nos queda un objeto con la granularidad adecuada que se necesita para respaldar mi tarea”.

Los investigadores demostraron a Clio en diferentes entornos del mundo real.

“Lo que pensamos que sería un experimento realmente práctico sería hacer funcionar Clio en mi apartamento, donde no hice ninguna limpieza previa”, dice Maggio.

El equipo elaboró ​​una lista de tareas en lenguaje natural, como “mover una pila de ropa” y luego aplicó Clio a imágenes del desordenado apartamento de Maggio. En estos casos, Clio pudo segmentar rápidamente escenas del apartamento y pasar los segmentos por el algoritmo Information Bottleneck para identificar los segmentos que componían la pila de ropa.

También ejecutaron Clio en el robot cuadrúpedo de Boston Dynamics, Spot. Le dieron al robot una lista de tareas que debía completar y, mientras el robot exploraba y mapeaba el interior de un edificio de oficinas, Clio se ejecutaba en tiempo real en una computadora de a bordo montada en Spot para seleccionar segmentos en las escenas mapeadas que se relacionaban visualmente con la tarea asignada. El método generó un mapa superpuesto que mostraba solo los objetos objetivo, que luego el robot utilizó para acercarse a los objetos identificados y completar físicamente la tarea.

“Ejecutar Clio en tiempo real fue un gran logro para el equipo”, afirma Maggio. “Muchos trabajos previos pueden llevar varias horas de ejecución”.

En el futuro, el equipo planea adaptar Clio para que pueda manejar tareas de nivel superior y aprovechar los avances recientes en representaciones de escenas visuales fotorrealistas.

“Seguimos dándole a Clio tareas que son algo específicas, como "encontrar una baraja de cartas”, dice Maggio. “Para búsqueda y rescate, hay que darle tareas de más alto nivel, como "e2ncontrar supervivientes" o "recuperar la energía". Por lo tanto, queremos llegar a una comprensión más a nivel humano de cómo llevar a cabo tareas más complejas”.

Esta investigación fue financiada, en parte, por la Fundación Nacional de Ciencias de EE. UU., la Fundación Nacional de Ciencias de Suiza, el Laboratorio Lincoln del MIT, la Oficina de Investigación Naval de EE. UU. y la Alianza de Investigación Colaborativa de Sistemas Inteligentes Distribuidos y Colaborativos y Tecnología del Laboratorio de Investigación del Ejército de EE. UU.

Autor