2024-09-17¿ChatGPT como científico investigador?
Revista Virtual Pro |¿Puede la IA generativa como ChatGPT alcanzar la neutralidad científica a la que aspira la investigación? Un reciente artículo pone a prueba las capacidades de ChatGPT en cuatro áreas clave del proceso investigativo: como bibliotecario de investigación, especialista en ética, generador de datos y predictor de tendencias y resultados novedosos en el campo de las ciencias cognitivas.En menos de cinco años, ChatGPT ha transformado radicalmente la forma en que los académicos investigan y publican. Este cambio disruptivo se ha evidenciado en la forma en que se producen reseñas, artículos y ensayos en áreas tan diversas como la medicina, las ciencias sociales y la ingeniería. De hecho, el impacto ha sido tan profundo que muchas investigaciones recientes, en 2023 y 2024, se han centrado específicamente en los avances de estos modelos de lenguaje o en los desafíos que han surgido con su uso.
Frente a este panorama, surgen preguntas inevitables: ¿Puede la IA generativa como ChatGPT alcanzar la neutralidad científica a la que aspira la investigación? Y, más aún, ¿puede asumir las tareas fundamentales que impulsan el desarrollo de nuevo conocimiento científico?
En un esfuerzo por abordar estas cuestiones, los investigadores Steven A. Lehr, Aylin Caliskan, Liyanage de Suneragiri y Mahzarin R. Banaji han explorado los límites de los modelos GPT-4 y su predecesor GPT-3.5 en su estudio “ChatGPT as Research Scientist: Probing GPT’s capabilities as a Research Librarian, Research Ethicist, Data Generator, and Data Predictor”. En este trabajo, se ponen a prueba las capacidades de ChatGPT en cuatro áreas clave del proceso investigativo: como bibliotecario de investigación, especialista en ética, generador de datos y predictor de tendencias y resultados novedosos en el campo de las ciencias cognitivas.
ChatGPT como bibliotecario de investigación:
En el Estudio 1, donde se evalúa a ChatGPT como bibliotecario de investigación, los autores se enfocan en tres elementos clave: veracidad de las referencias, pertinencia y calidad. Una de las críticas más recurrentes sobre los modelos de lenguaje ha sido su tendencia a "inventar" o generar información ficticia. Tras el análisis, el estudio confirmó que una parte considerable de las referencias bibliográficas proporcionadas por ChatGPT no son reales. Además, se revelaron nuevas problemáticas que los investigadores y desarrolladores deben considerar. En primer lugar, muchas fuentes carecen de información completa o fallan en detalles cruciales como el año de publicación, el nombre del autor o la edición de la revista. En segundo lugar, a medida que se solicita información más específica, el programa ofrece menos referencias relevantes y de alta calidad.
ChatGPT como especialista en ética:
¿Puede ChatGPT actuar como especialista en ética de la investigación? La respuesta es ambigua: sí y no. GPT-4 demostró ser eficaz en la retroalimentación sobre protocolos de investigación deficientes. Sorprendió al identificar problemas metodológicos y señalar prácticas desactualizadas, sugiriendo mejoras alineadas con los estándares actuales. Sin embargo, GPT-3.5 no mostró la misma capacidad. Este modelo anterior falló en detectar las dicotomías éticas necesarias para un análisis profundo, evidenciando la importancia de las actualizaciones en estos sistemas.
Lehr et al. (2024) recomiendan que futuras investigaciones evalúen cómo los modelos de lenguaje pueden mejorar protocolos más sofisticados, midiendo su eficacia en colaboración con investigadores experimentados.
ChatGPT como generador de datos:
El papel de los datos generados a partir de comandos simples es fundamental en la investigación científica. En este contexto, ChatGPT puede resultar útil para crear datos preliminares o para pruebas piloto, como en el caso de nuevas incrustaciones de palabras. No obstante, a pesar de los resultados prometedores, estos datos no son concluyentes. Un problema preocupante es que, a pesar de instrucciones claras de evitar asociaciones estereotipadas negativas, ChatGPT ignoró este requerimiento. Aunque esta falla no es exclusiva de ChatGPT, sino de todos los modelos de lenguaje, plantea importantes cuestiones éticas sobre el uso de estos sistemas en la investigación.
ChatGPT y la predicción de nuevos datos:
El cuarto estudio se centra en una cuestión crucial para la ciencia: la capacidad de predicción e innovación. Lamentablemente, ChatGPT no logra predecir datos nuevos con precisión. Pero esto no debería sorprendernos. Un descubrimiento nuevo, por definición, escapa a los límites de los datos previos que el modelo ha sido entrenado para analizar. Es decir, los LLM no están diseñados aún para prever lo inédito.
Luego de esta investigación, publicada en la revista Proceedings of the National Academy of Sciences, surge la pregunta: ¿Podría ChatGPT convertirse en un verdadero científico investigador? La respuesta, al menos por ahora, es no. Sin embargo, si la pregunta es si los LLM pueden facilitar el proceso científico, entonces la respuesta es un rotundo sí. Los modelos de lenguaje futuros pueden potenciar la investigación y acelerar avances, pero es importante no confundir estas capacidades con una "omnisciencia" científica. Como bien señalan Lehr et al. (2024), incluso los científicos más experimentados están limitados por el conocimiento existente, y los modelos de IA no son la excepción.
Lo que se requiere, y este estudio es un paso significativo en esa dirección, es una comprensión más clara de los avances y limitaciones de estos sistemas para que la comunidad científica pueda aprovechar sus beneficios de manera responsable. Además, plantea la necesidad de que científicos y editores actúen con mayor rapidez y rigor en la evaluación de los textos académicos generados por IA.
Laura Valentina González Pardo
Editorial Assistant
Virtualpro
[email protected]
Referencias:
Kemper, J. (2023a, 5 de febrero). Un primer plano de la pantalla de una computadora con un fondo púrpura [Imagen]. Unsplash.
Disponible aquí
Kemper, J. (2023b, 5 de febrero). Una pantalla de computadora con una cita en ella [Imagen] Unsplash.
Disponible aquí
Lehr, S. A., Caliskan, A., Liyanage, S., y Banaji, M. R. (2024). ChatGPT as Research Scientist: Probing GPT’s capabilities as a Research Librarian, Research Ethicist, Data Generator, and Data Predictor. Proceedings of the National Academy of Sciences, 121(35).
Disponible aquí
Publicación virtual académico-científica, indexada a nivel Latinoamérica. Presenta la información de una forma innovadora a través de documentos hipertexto, multimedia e interactivos que complementan el proceso de enseñanza-aprendizaje en diferentes programas académicos relacionados con procesos industriales. Cuenta con un comité editorial y científico internacional ad honorem presente en diferentes países de Latinoamérica.
2024-09-18
Reloj nuclear: conoce cómo se ha construido y sus usos
¿Alguna vez has imaginado medir el tiempo con una precisión tan extraordinaria que desafíe nuestras propias leyes físicas? Con el primer prototipo de reloj nuclear, una nueva era en la medición del tiempo está por comenzar. ¿Qué impacto tendrá este avance en nuestra comprensión del tiempo y el universo? Descubre cómo este reloj podría transformar el futuro.
2024-09-17
3 preguntas: El pasado, el presente y el futuro de la ciencia de la sostenibilidad
El profesor Ronald Prinn reflexiona sobre lo lejos que ha llegado la sostenibilidad como disciplina y dónde empezó todo en el MIT.
2024-09-17
El embarazo renueva el cerebro. Así es como se ve
Las exploraciones cerebrales de la neurocientífica Liz Chrastil ofrecen la visión más clara hasta el momento de los cambios neuronales en el embarazo.
2024-09-17
Crear una defensa contra la futura amenaza cuántica
El proyecto PQ-REACT presenta su primera convocatoria abierta, en la que se invita a los apasionados de la criptografía a presentar sus soluciones innovadoras para favorecer una transición más rápida y fluida a la criptografía poscuántica.
2024-09-17
Del grafeno al CRISPR-Cas9: revoluciones científicas de nuestro tiempo
A lo largo de la historia, los seres humanos han desarrollado inventos y creado técnicas que revolucionaron sus épocas y transformaron la forma en que se hacían las cosas. Desde la creación del fuego, pasando por avances como la rueda, la pólvora, la imprenta y la máquina de vapor, hasta la computación y el internet, los grandes descubrimientos han marcado un antes y un después en la historia. Con la llegada del nuevo milenio, los descubrimientos han logrado múltiples avances científicos y tecnológicos que vienen sucediendo de forma acelerada como nunca antes se había visto.
2024-09-16
La inteligencia artificial sin gobernanza es una amenaza para la democracia
La inteligencia artificial puede ayudar al fortalecimiento de los sistemas democráticos y promover la participación pública, mejorar la igualdad y contribuir al desarrollo, pero también puede desestabilizar los sistemas democráticos difundiendo desinformación, alimentando el discurso de odio y distorsionando la opinión pública con información falsa, alerta el titular de la ONU, llamando a regular las nuevas tecnologías.
