ChatGPT, Gemini, Copilot y otras herramientas de inteligencia artificial crean frases y párrafos impresionantes a partir de una simple línea de texto. Para generar esas palabras, los grandes modelos de lenguaje subyacentes se entrenaron con montones de texto escrito por humanos y extraídos de Internet. Pero ahora, a medida que las herramientas de inteligencia artificial generativa inundan Internet con una gran cantidad de contenido sintético, ese contenido se está utilizando para entrenar a las futuras generaciones de esas IA. Si esto continúa sin control, podría ser desastroso, dicen los investigadores.

El entrenamiento de modelos lingüísticos de gran tamaño con sus propios datos podría llevar al colapso del modelo, afirmaron recientemente el científico informático de la Universidad de Oxford Ilia Shumailov y sus colegas en Nature .

El colapso del modelo suena alarmante, pero no significa que las IA generativas simplemente dejarían de funcionar. En cambio, las respuestas de las herramientas se alejarían cada vez más de sus datos de entrenamiento originales. Aunque a veces están sesgados, esos datos originales son una representación decente de la realidad. Pero a medida que las herramientas se entrenan con sus propios datos generados, los pequeños errores que cometen se acumulan, y su contenido termina perdiendo el matiz de las diversas perspectivas y se transforma en un galimatías.

Eso es lo que descubrieron Shumailov y sus colegas. El equipo tomó un modelo de lenguaje previamente entrenado, llamado OPT-125m , y lo alimentó con un montón de artículos de Wikipedia para afinar sus respuestas. Luego, el equipo le dio a esta herramienta un mensaje de texto y le pidió que predijera lo que vendría después. Su respuesta se devolvió al modelo para un ajuste más fino. Cuando cada generación sucesiva fue entrenada con datos generados por la anterior, descubrieron que en la novena generación, el modelo estaba arrojando tonterías. Lo que había comenzado como un mensaje sobre la arquitectura del siglo XIV terminó como una lista de tipos de liebres. En otro conjunto de experimentos, cuando el equipo conservó algunos de los datos originales, la degradación del modelo fue menor.

Este estudio demuestra que entrenar a la IA para que responda por sí sola puede tener graves consecuencias, como la exacerbación de los sesgos y la transformación del texto en algo sin sentido, si no se controla. Las grandes empresas de IA tienen formas de evitar este tipo de colapso, pero a medida que más personas comiencen a usar modelos de lenguaje para entrenar a sus propios chatbots y otras IA, podría haber consecuencias.

¿Cómo podrían colapsar los modelos de IA generativa?

Los modelos de lenguaje y la IA generativa existen desde hace décadas, principalmente en los laboratorios de informática. Pero el predominio de los chatbots es más reciente: comenzó en noviembre de 2022, cuando ChatGPT se lanzó para uso público. Una combinación de mejor hardware que puede procesar información en paralelo, más la llegada del transformador, un tipo de red neuronal, y la disponibilidad de billones de puntos de datos de alta calidad creados por humanos han sido clave para este predominio.

“Lo que sugiere el colapso del modelo es que tal vez la calidad de los datos [tanto los que entran como los que salen] va a disminuir”, dice Shumailov.

Lo que comenzó como un mensaje sobre la arquitectura del siglo XIV terminó siendo una lista de tipos de liebres.

Para entender por qué, imaginemos que le estamos explicando a un programa informático qué es un gato, dice Shumailov. “No sabemos realmente cómo [hacer eso]… así que le damos [al LLM] una serie de ejemplos [descripciones textuales] de qué es un gato y luego le pedimos al modelo que aprenda a definir esta criatura”. El LLM lo hace sin supervisión ni instrucciones explícitas, extrapolando a partir del conjunto de observaciones dado.

Pero esta extrapolación conlleva errores sutiles. Shumailov la compara con un juego de teléfono, en el que una frase se susurra de una persona a otra hasta que llega a la última, que la dice en voz alta. La frase original a menudo termina muy destrozada debido a los errores que se introducen en el proceso. Esto hace que los LLM alucinen , generando un contenido plausible que no es del todo correcto (SN: 1/2/24).

Si dicho contenido erróneo se utiliza para entrenar una versión posterior del modelo u otro modelo en su totalidad, ese contenido comenzará a influir en los procesos de aprendizaje de esos modelos y eventualmente los “romperá” de alguna manera.

¿Cómo se vería el colapso de los modelos de IA en la vida real?

El colapso del modelo se refiere esencialmente a un alejamiento del texto original utilizado para entrenar los modelos, dice Leqi Liu, investigador de IA de la Universidad de Texas en Austin. Una de las razones de esto es la desaparición de las colas de distribución de datos: texto que representa eventos de baja probabilidad. Por ejemplo, usando el ejemplo de los gatos, el modelo podría volverse muy bueno para describir gatos peludos pero no para retener información sobre los que no tienen pelo.

Otro ejemplo, dice Liu, es que las personas de grupos minoritarios pueden expresar las cosas de manera diferente, y ese tipo de texto aparecerá cada vez menos, marginando aún más los datos pertenecientes a las personas marginadas. Ese es el cambio que probablemente veremos como usuarios finales. El efecto secundario será que el contenido generado por IA no solo amplificará el sesgo , como muestran los estudios, sino que también comenzará a sonar igual. "Naturalmente, probablemente queramos diversas expresiones de nosotros mismos, pero si estamos usando el mismo asistente de escritura, eso podría reducir esa diversidad".

Para evitar que las IA aumenten el sesgo o se descompongan y emitan un galimatías, es importante realizar un seguimiento de todos los datos y asegurarse de que se utilicen para el entrenamiento tanto los conocimientos previos (incluido el texto generado por humanos) como los nuevos conocimientos (el texto generado por la IA), dice Liu. Básicamente, la idea sería no entrenar nuevos modelos solo con datos generados por la IA. “Otro enfoque podría ser que nos aseguráramos explícitamente de capturar la cola de la distribución”. Esos gatos sin pelo, por ejemplo.

Dado que las empresas que comercializan herramientas de IA comprueban en profundidad si los datos se desvían, cualquier problema se detectaría con rapidez y podría solucionarse. Por lo tanto, es poco probable que la posibilidad de que el modelo colapse afecte a los usuarios posteriores, dice Shumailov. Pero las personas que intentan crear modelos a menor escala sin duda se verían afectadas y deben ser conscientes del riesgo.

¿Tiene preguntas o comentarios sobre este artículo? Envíenos un correo electrónico a  [email protected] | Preguntas frecuentes sobre reimpresiones

Citas

I. Shumailov et al. Los modelos de IA colapsan cuando se entrenan con datos generados de forma recursiva. Nature. Vol. 631, 24 de julio de 2024. Doi: 10.1038/s41586-024-07566-y

Sierra Wyllie et al. Fairness feedback loops: Training on Synthetic data ampifies bias (Bucles de retroalimentación de imparcialidad: el entrenamiento con datos sintéticos amplifica el sesgo). Actas de la Conferencia ACM de 2024 sobre imparcialidad, rendición de cuentas y transparencia (FAccT ´24), Association for Computing Machinery, Nueva York, NY, EE. UU., pág. 2113. doi: 10.1145/3630106.3659029.

Acerca de Payal Dhar

Payal Dhar es un periodista independiente y autor que reside en Bangalore, India.

Autor