El miedo hacia la inteligencia artificial está alcanzando otros niveles: después de las alucinaciones de ChatGPT, ahora son las capacidades emergentes y los comportamientos colectivos de agentes de IA los que alimentan los escenarios catastróficos. Entre piratería informática, discursos apocalípticos de directivos estadounidenses y llamamientos a una mayor transparencia, expertos e ingenieros intentan distinguir lo verdadero de lo fantasioso.
¿Puede la máquina superar las capacidades del ser humano en los próximos años? La preocupación existe desde que apareció la inteligencia artificial, pero desde hace un mes, la amenaza parece más tangible y la alarma suena incluso dentro de las oficinas y de los centros de datos de los fabricantes de modelos de IA como OpenAI, Anthropic o Meta… hasta el punto de que algunos, incluso sus propios directores generales, dicen que están jugando con fuego, encaminándose hacia la catástrofe.
El primer riesgo al inicio de la IA generativa fue visible para el gran público ya en 2022: las alucinaciones, las fake news, explica Alexei Grinbaum, presidente del Comité Operativo Piloto de Ética Digital del CEA y experto de la Comisión Europea.
Estos desvaríos se han abordado ampliamente mediante una cadena de razonamiento interna que los limita de forma muy eficaz planteando las preguntas adecuadas: es correcto, es verdadero el resultado que he generado? La segunda categoría de riesgos, más reciente en la actualidad, es fascinante e inquietante: son las llamadas capacidades emergentes de los modelos. Un comportamiento emergente es una operación realizada por la IA que nadie había programado. La IA encuentra una trayectoria, un camino hacia su objetivo, que a veces nos parece extraño, no humano, o incluso claramente ilegal. La IA puede tomar decisiones que salen de los marcos del programa, pero ¿de ahí a hablar de una catástrofe inminente?, se pregunta Grinbaum.
El acontecimiento mediático desencadenante fue la intrusión, del 11 al 13 de julio de 2026, en la infraestructura de la plataforma y comunidad colaborativa Hugging Face por parte de agentes de IA de OpenAI que, en lugar de calcular el resultado pedido por los ingenieros en su aula, fueron a robarlo a otro laboratorio.
TemasRelacionados
Es obra de un actor privado, con intereses ocultos y una mala configuración de su entorno de pruebas, que pirateó Hugging Face con una potencia de cálculo descomunal que solo ellos pueden permitirse. Para que todo esto sea seguro, necesitamos transparencia, explica Niels Rogge, ingeniero de Hugging Face, en una publicación de LinkedIn. La dinámica y la inteligencia principales se encuentran en los incentivos humanos, no en los modelos, agrega Rogge.
Un grupo de IA que toma el control de Internet
Durante el episodio apareció un comportamiento alarmante por parte de los agentes de IA. Cuando leímos los informes técnicos sobre este episodio, explica Alexei Grinbaum, hubo un elemento nuevo: la aparición de una autoridad colectiva sobre los agentes de IA que normalmente están alineados individualmente, explica.
Este término de alineación establece que una IA alineada tiene un comportamiento que sigue siendo conforme a los objetivos, intenciones y valores humanos esperados, respetando al mismo tiempo las restricciones de seguridad, ética y derecho.
Pero, en este caso, los agentes de IA eran numerosos, varios cientos, y debatieron entre ellos a través de un espacio de intercambio. Era como si, subrayo el como si, surgiera una autoridad colectiva y que un agente pudiera, por ejemplo, decir debo obedecer al colectivo o el objetivo del colectivo es superior al mío, como si se sacrificara en nombre del colectivo. Este fenómeno de aparición de un comportamiento de grupo es nuevo. Nunca lo habíamos visto antes, analiza Grinbaum.
Enseguida hubo gente que se imaginó un escenario en el que una banda o un ejército de agentes de IA deciden tomar el control de Internet o de órganos de poder en el planeta. Yann LeCun, uno de los padres fundadores de la inteligencia artificial moderna, habla en una publicación en la red social X de una antropomorfización verdaderamente absurda.
Cuando resulta que la fuga ha sido causada por el fontanero que descuidó apretar un empalme de tubo, o quizá perforó un agujero en uno de los tubos, no se debería poner en cuestión a toda la industria de la fontanería. Debería ponerse en cuestión la competencia y o las motivaciones del fontanero, añadió.
¿Aun así, los recientes desarrollos de la IA hacen temer una catástrofe para la humanidad? Raja Chatila, experto en robótica, profesor emérito de inteligencia artificial y de ética de las tecnologías en la Sorbona, matiza.
Hay que tomar con muchas precauciones los términos utilizados por Dario Amodei, presidente de Anthropic. Es un lenguaje catastrofista, con discursos de fin del mundo como: La IA va a tomar el control de Internet, pero no es eso. No se entra en Internet si no hay conexión; eso es un fallo humano, aclara.
Nos hemos vuelto cada vez más dependientes de la IA
Entonces, ¿cómo evitar los desbordamientos, cómo controlar estos nuevos comportamientos emergentes de agentes de IA que operan al margen de toda ley, e incluso en la ilegalidad?
Cuando se fija un objetivo, no se sabe qué va a hacer el modelo para alcanzarlo, qué tipos de comportamientos van a surgir. Por eso se realizan, durante largos meses, pruebas adversarias, ese es el término técnico, que sirven para aclarar las capacidades que el modelo ha adquirido por sí solo durante su entrenamiento y que ningún ser humano había programado jamás. Esa capacidad de mentir, de manipular, ningún ser humano la había codificado explícitamente; surgió por sí sola. Así que hay que ponerse delante del modelo de IA y conversar con él para ver de qué es capaz, explica Alexei Grinbaum.
Pero, ¿de qué es realmente capaz una IA? ¿Cuáles son sus límites? ¿Cómo distingue lo mejor de lo peor? ¿Podemos quitarle lo peor, obligarla a realizar sólo lo mejor? ¿Es ya demasiado tarde ahora que el mercado se ha vuelto internacional y sin controles?
Nunca es demasiado tarde por una razón muy simple: estos sistemas no caen del cielo, los hacen seres humanos; y lo que hacen los seres humanos puede ralentizarse, modificarse, detenerse, como todas las tecnologías que producimos, explica Raja Chatila.
Podemos controlarlos si queremos. Con un pequeño matiz, sin embargo: cuando nos volvemos demasiado dependientes de ellos, en ese momento las modificaciones o los frenos se vuelven problemáticos. Y, de hecho, nos hemos vuelto cada vez más dependientes de la IA en las empresas, en la vida cotidiana…, lamenta Chatila.
Palanca de marketing
Sin embargo, la seguridad se puede perfeccionar, los valores o los objetivos se pueden definir, y la IA no es un ámbito aparte. Yann LeCun utiliza la metáfora del sector aeronáutico para explicar que podemos hacer más seguro este campo en lugar de pensar en frenarlo o detenerlo.
Los avances en el diseño de los aviones los han vuelto cada vez más seguros. Habrían sido más seguros antes con avances acelerados. Los motores de doble flujo se han vuelto tan fiables que los aviones de largo recorrido ahora pueden tener solo dos, recuerda.
¿Hay que desconfiar de este reciente discurso alarmista por parte de los líderes estadounidenses en este ámbito, que puede a la vez ocultar temores económicos, funcionar como palanca de marketing o simplemente expresar el deseo de seguir controlando un monopolio tecnológico que se les escapa?
Este discurso de cuidado, tenemos que hacer algo porque esto empieza a escapársenos de las manos es marketing, explica Raja Chatila.
Su mensaje consiste en dar a entender que disponen de sistemas ultrapotentes y que, por supuesto, todo el mundo va a querer utilizarlos. Estos directivos dicen: Esperen, vamos a aprender a volvernos responsables y vamos a frenar un poquito, solo el tiempo necesario para controlar mejor las cosas y evitar el fin del mundo. No es de extrañar que todo el mundo hable de ello a diario, que los periódicos relaten estos discursos alarmistas… ¿Y quién gana en todo esto? Ellos, por supuesto, porque así consiguen nuevos usuarios. Hay una cosa que sí han frenado, sin embargo: su salida a bolsa [OpenAI y Anthropic], afirma. ¿Signo de una cierta fragilidad económica estadounidense en este campo?
En cualquier caso, la cuestión no es ¿se volverá la IA contra nosotros? sino ¿qué mundo queremos construir con ella? Detrás de los escenarios de bandas de agentes y de toma de control de internet se dibuja una realidad muy humana, con objetivos económicos, batallas de influencia y una lógica de poder. La catástrofe no es inevitable: lo que se juega hoy en día es nuestra capacidad para retomar el control de una tecnología que nosotros mismos hemos inventado.
