Los chatbots de IA conversacional están haciendo que la desinformación climática suene más creíble, dificultando distinguir las falsedades de la ciencia real. En respuesta, los expertos en clima están utilizando algunas de las mismas herramientas para detectar información falsa en línea.

Sin embargo, a la hora de clasificar afirmaciones climáticas falsas o engañosas, los modelos de lenguaje grande de propósito general (LLM), como Llama de Meta y GPT-4 de OpenAI, se quedan atrás de los modelos entrenados específicamente con datos climáticos seleccionados por expertos, según informaron científicos en marzo en la Conferencia AAAI sobre Inteligencia Artificial en Filadelfia. Los grupos climáticos que deseen utilizar LLM de uso común en chatbots y herramientas de moderación de contenido para comprobar la desinformación climática deben considerar cuidadosamente los modelos que utilizan e incorporar a expertos relevantes para guiar el proceso de entrenamiento, según muestran los hallazgos.

En comparación con otros tipos de afirmaciones, la desinformación sobre el cambio climático a menudo está “envuelta en información científica falsa o engañosa”, lo que hace más difícil para los humanos y las máquinas detectar las complejidades de la ciencia del clima, dice Erik Nisbet, un experto en comunicaciones de la Universidad Northwestern en Evanston, Illinois.

Para evaluar los modelos, Nisbet y sus colegas utilizaron un conjunto de datos llamado CARDS, que contiene aproximadamente 28.900 párrafos en inglés de 53 sitios web y blogs de escépticos del cambio climático. Los párrafos se dividen en cinco categorías: «El calentamiento global no está ocurriendo», «Los gases de efecto invernadero generados por el ser humano no están causando el calentamiento global», «Los impactos climáticos no son malos», «Las soluciones climáticas no funcionarán» y «El movimiento/la ciencia climática no es fiable».

Los investigadores crearon un modelo de lenguaje de larga duración específico para el clima mediante el reentrenamiento o ajuste del GPT-3.5-turbo3 de OpenAI con aproximadamente 26 000 párrafos del mismo conjunto de datos. Posteriormente, el equipo comparó el rendimiento del modelo propietario ajustado con el de 16 modelos de lenguaje de larga duración de propósito general y un modelo de lenguaje a pequeña escala disponible públicamente (RoBERTa), entrenado con el conjunto de datos CARDS. Estos modelos clasificaron los 2900 párrafos restantes con afirmaciones engañosas.

El equipo de Nisbet evaluó los modelos evaluando la precisión con la que cada uno clasificaba las reclamaciones en las categorías correctas. El modelo GPT optimizado obtuvo una puntuación de 0,84 sobre 1,00 en la escala de medición. Los modelos GPT-4o y GPT-4 de propósito general obtuvieron puntuaciones inferiores, de 0,75 y 0,74, comparables a la puntuación de 0,77 del modelo pequeño RoBERTa. Esto demostró que incluir la retroalimentación de expertos durante el entrenamiento mejora el rendimiento de la clasificación. Sin embargo, los demás modelos comunes probados, como los de Meta y Mistral, obtuvieron un rendimiento deficiente, con puntuaciones de hasta tan solo 0,28.

Este es un resultado obvio, afirma Hannah Metzler, experta en desinformación del Complexity Science Hub de Viena. Los investigadores se enfrentaron a limitaciones computacionales al usar los modelos comunes y no pudieron usar modelos más potentes. "Esto demuestra que, si no se disponen de grandes recursos, algo que las organizaciones climáticas no tienen, por supuesto que habrá problemas si no se quieren usar los modelos propietarios", afirma. "Esto demuestra la gran necesidad de que los gobiernos creen modelos de código abierto y nos proporcionen los recursos para usarlos".

Los investigadores también probaron el modelo optimizado y el modelo entrenado con CARDS para clasificar afirmaciones falsas en 914 párrafos sobre el cambio climático publicados en Facebook y X por sitios web de baja credibilidad. Las clasificaciones del modelo GPT optimizado mostraron una alta concordancia con las categorías marcadas por dos expertos en comunicación climática y superaron al modelo RoBERTa. Sin embargo, el modelo GPT tuvo dificultades para categorizar las afirmaciones sobre el impacto del cambio climático en animales y plantas, probablemente debido a la falta de ejemplos suficientes en los datos de entrenamiento.

Otro problema es que los modelos genéricos podrían no adaptarse a los cambios en la información compartida. «La desinformación climática varía y se adapta constantemente», afirma Metzler, «y siempre será difícil seguirla».

Citas
M. Allaham et al. Mejora de los LLM para la gobernanza con supervisión humana: evaluación y alineación de los LLM en la clasificación experta de la desinformación climática para detectar afirmaciones falsas o engañosas sobre el cambio climático. Taller AAAI 2025 sobre Gobernanza de IA: Alineación, Moralidad y Derecho, Filadelfia, 3 de marzo de 2025.

TG Coan et al. Clasificación asistida por computadora de afirmaciones contrarias sobre el cambio climático . Scientific Reports. Publicado en línea el 16 de noviembre de 2021. doi: 10.1038/s41598-021-01714-4.

Por Ananya​

Autor​