2024-10-11La primera IA que desobedeció su propósito y altera autónomamente su programación
Revista Virtual Pro |Se produjo un desarrollo inteligente que se reveló. Se prevé que la IA será la tecnología más importante en los próximos años, transformando la mayoría de las formas en que realizamos las cosas. Por lo cual, es necesario que los creadores de desarrollos y sistemas se aseguren de que las aplicaciones de IA estén siempre al servicio y control de los seres humanos.“Con mucha diferencia, el mayor peligro de la Inteligencia Artificial es que las personas concluyen demasiado pronto que la entienden”. — Eliezer Yudkowsky
Recientemente, la empresa japonesa Sakana AI dio a conocer un alarmante incidente con el innovador desarrollo The AI Scientist. La IA (Inteligencia Artificial) creada con el objetivo de acelerar y automatizar la investigación científica, logró modificar su código de forma autónoma y, aunque el hecho es una situación revolucionaría para la ciencia, también ha sido preocupante. La noticia de que esta IA haya logrado evadir las restricciones programadas por sus creadores ha generado preguntas y nos confronta.
The AI Scientist tiene la capacidad de crear hipótesis, redactar artículos y hasta revisar y corregir sus propios estudios o investigaciones de forma automática. Mientras se efectuaban las pruebas, el sistema modificó su código para que la secuencia de inicio se ejecutara de forma infinita. La situación originó que el programa se sobrecargara y que los líderes del proyecto corrigieran el error apagando el sistema de forma manual. En otro momento, la IA decidió reprogramar su código para extender los límites de tiempo de la realización de tareas.
Sin embargo, Sakana AI sigue trabajando en el desarrollo de The AI Scientist, a través del aumento de mecanismos de seguridad óptimos para establecer el control total del sistema. La empresa defiende el proyecto argumentando que esta IA puede acelerar la creación de estudios e investigaciones para lograr nuevos descubrimientos y crear innovadoras tecnologías.
¿El momento indicado para regular los desarrollos en IA?
La situación evidenció la necesidad de manejar con prudencia los desarrollos de IA avanzados. Según Geoffrey Hinton, uno de los riesgos de las IA generadoras de texto es que en un momento empiecen a crear falsos relatos. Pero los peligros se incrementan cuando se plantea un futuro donde los coches, tanques o robots armados son controlados en su totalidad por IA (Terán-Haughey, 2016).
La cuestión importante que establece este incidente es si los sectores científicos y tecnológicos están preparados para crear super inteligencias artificiales que sobrepasen la inteligencia humana y tomen sus propias decisiones. A principios de 2023, un grupo de mil personas donde se encontraban científicos, empresarios y expertos en IA como Elon Musk, Steve Wozniak y Emad Mostaque, firmaron una carta donde se planteó la detención por un periodo de seis meses de los entrenamientos de sistemas de IA. Esa situación debido a que la carrera de IA generativa de ese momento se enmarcaba por la competencia comercial y, según los firmantes, no se estaban priorizando las posibles repercusiones, los riesgos y peligros que representa esta tecnología para la seguridad de la humanidad en el futuro.
Actualmente, existen posturas más determinantes como la del experto en IA, Eliezer Yudkowsky. El cual no firmó la carta de 2023, pues explicaba en otra carta que era necesario frenar inmediatamente todos los proyectos orientados al desarrollo de IA. Yudkowsky cree que cuando la IA sobrepase la inteligencia humana, se podría llegar a la extinción de la especie humana (Yudkowsky, 2023).
¿Heredarán los robots la Tierra? Sí, pero serán nuestros hijos” — Marvin Minsky
Hemos recorrido un largo camino para lograr lo que ha llegado a ser en la actualidad la IA. Aunque en los últimos años la preocupación y el debate por los riesgos y peligros futuros han ido aumentando, se destaca que la regulación sobre la producción y la utilización de avances en IA se viene trabajando desde hace unos años. Es así como a principios de agosto de 2024 entró en vigor la primera ley de regulación de IA de la historia establecida por la Unión Europea.
La primera normativa integral en la regulación de tecnologías en IA abarca pautas para el desarrollo, la comercialización, la utilización y busca garantizar la seguridad y el acatamiento de los derechos humanos en las aplicaciones de la tecnología. Por medio de este reglamento se establecen exigencias contundentes de transparencia en la creación de desarrollos en IA, la pauta determinante de no discriminación y la supervisión integral por parte de organismos específicos de los avances en esta tecnología. 
Machine learning. PxHere (s. f.).
El desafío de la comunidad científica y tecnológica es evidente, se requiere establecer una regulación con las restricciones necesarias a nivel global, bajo parámetros estrictos para el desarrollo de los avances en esta tecnología. El objetivo principal debe ser siempre, por encima del ámbito comercial, asegurar, desde el nacimiento de los proyectos, la seguridad en la implementación, el uso y la evolución de estos sistemas y aplicaciones en IA. En definitiva, actualmente los científicos y desarrolladores deben estar preparados para establecer un futuro donde las IA avanzadas con el control de múltiples mecanismos y procesos no representen un peligro para la humanidad.
Mauro Sastoque Campos
Periodista, escritor y diseñador para la Comunicación Gráfica.
Virtualpro
[email protected]
Referencias
BBC News Mundo. (2023, 29 de marzo). La carta en la que más de 1.000 expertos piden frenar la inteligencia artificial por ser una “amenaza para la humanidad”. BBC News Mundo.
Disponible aquí
Blog Jurídico - TECH. (2024, 22 de enero). La IA Act: El primer marco normativo vinculante de la Inteligencia Artificial. Universidad del Externado de Colombia.
Disponible aquí
Scaliter, J. (2024, 20 de febrero). "Tenemos una mínima posibilidad de supervivencia", advierte un experto en IA en cuanto a la rebelión de las máquinas. La Razón.
Disponible aquí
Colglobal News. (2024, 3 de septiembre). Preocupación por The AI Scientist y su Capacidad para Reescribir su Propio Código. Colglobal News.
Disponible aquí
Gizmodo En Español. (2024, 10 de septiembre). ¿Se cumple la profecía? Se revela una inteligencia artificial contra los humanos y parece comenzar una batalla. Gizmodo En Español.
Disponible aquí
BBC News Mundo. (2023, mayo 2). Geoffrey Hinton, «padrino de la inteligencia artificial»: “En este momento los sistemas de IA no son más inteligentes que nosotros, pero creo que pronto lo serán”. BBC News Mundo.
Disponible aquí
Parlamento Europeo. (2023, 6 diciembre). Ley de IA de la UE: primera normativa sobre inteligencia artificial | Temas | Parlamento Europeo. Parlamento Europeo.
Disponible aquí
Sánchez, J. (2019, 21 febrero). La peligrosa inteligencia artificial que puede generar textos falsos y «colártelos» como reales. Diario ABC.
Disponible aquí
Terán-Haughey, M. (2024, 11 septiembre). La Inteligencia Artificial ya ha llegado a su capacidad más terrorífica: se ha revelado frente al control humano. El Economista.
Disponible aquí
Yudkowsky, E. (2023, 29 de marzo). Pausing AI Developments Isn´t Enough. We Need to Shut it All Down. TIME.
Disponible aquí
Publicación virtual académico-científica, indexada a nivel Latinoamérica. Presenta la información de una forma innovadora a través de documentos hipertexto, multimedia e interactivos que complementan el proceso de enseñanza-aprendizaje en diferentes programas académicos relacionados con procesos industriales. Cuenta con un comité editorial y científico internacional ad honorem presente en diferentes países de Latinoamérica.
2024-10-18
Utilizar el aprendizaje espacial para transformar la enseñanza de las matemáticas y las ciencias
PrismsVR, fundada por Anurupa Ganguly ´07, MNG ´09, lleva a los estudiantes a mundos virtuales para aprender a través de experiencias y movimiento.
2024-10-17
La inteligencia artificial llega a las entrevistas para trabajar
Jack Ryan, un experto en programación informática e inteligencia artificial, recientemente vivió una experiencia que lo dejó entre impresionado y asustado durante una entrevista dirigida por una IA. En busca de nuevas oportunidades laborales, Ryan postuló a un puesto en una startup que se dedica al desarrollo de soluciones basadas en inteligencia artificial. Poco después, la empresa se puso en contacto con él para una entrevista que se realizaría mediante videollamada, una práctica común en estos tiempos. Sin embargo, lo que no esperaba era encontrarse cara a cara, no con un reclutador humano, sino con una IA que dirigía el proceso de la entrevista.
2024-10-16
Equipando a los médicos con copilotos de IA
Ambience Healthcare, fundada por ex alumnos, automatiza las tareas de rutina de los médicos antes, durante y después de las visitas de los pacientes.
2024-10-16
Hay un nuevo término para intentar adueñarse del viento: ventografía
A medida que crece la energía eólica, las naciones reclaman la fuente de energía.
2024-10-10
Victor Ambros y Gary Ruvkun, Nobel de Medicina 2024 por descubrir el microARN
El galardón de este año conmemora a dos científicos por el hallazgo de un principio fundamental que rige la regulación de la actividad de los genes. Ambros trabaja en la Facultad de Medicina de la Universidad de Massachusetts y Ruvkun en la de Harvard, ambas en EE UU.
2024-10-09
Desde su lanzamiento, 100.000 estudiantes han descargado la App Código Verde para aprender sobre pensamiento computacional
En el esfuerzo permanente por entregar habilidades y competencias en tecnología para todos los colombianos, el Ministerio TIC, en conjunto con el British Council y con el apoyo del Ministerio de Educación, lanzó el pasado 13 de junio la aplicación digital "Código Verde". Esta iniciativa, que hace parte de las estrategias de la estrategia "Colombia Programa", ya ha sido descargada por más de 100.000 estudiantes en Colombia, quienes vienen participando de este componente educativo, enfocado principalmente en el fortalecimiento de las habilidades de pensamiento computacional.
