El pasado 8 de septiembre, Jacob Coxon, empleado de Anthropic, renunció a esta compañía. En un hilo de X, Jacob denunció que tanto Anthropic como Open AI (empresas matrices creadoras de Claude y Chat GPT, respectivamente) están trabajando en la creación de una “super inteligencia que se automejora”. Y, para agitar las mayores paranoias al estilo Terminator, añadió: “Las personas que están construyendo estas IA honestamente creen que podrían matarnos para el fin de esta década”.
Declaraciones de este tipo, desde luego, generaron un fuerte debate cuyo colofón fue el acuerdo de varios gigantes del sector sobre la necesidad de ralentizar el desarrollo de la IA. Dario Amodei, confundador y CEO de Anthropic, publicó el 12 de septiembre un ensayo titulado “Debemos marcar el ritmo de la frontera”, en el cual aboga básicamente por ralentizar el desarrollo de la IA:
“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”.
El presidente Trump reaccionó a esta idea afirmando que la IA no necesita límites, solo un “presidente con un alto IQ”.
Detrás de la alarma y las reacciones diversas, el debate actual en torno a la IA pareciera estar motivado, más que por las sensacionalistas afirmaciones de Coxon, por un suceso ocurrido en junio-julio de 2026, sobre el cual, dada su naturaleza técnica, no se ha hablado mucho en los medios, pero que resulta sumamente interesante para entender el momento actual de la IA.
El fin y los medios
El informe de este hecho fue publicado por la evaluadora independiente METR (Model Evaluation & Threat Research) el 26 de agosto de 2026. Es una investigación independiente, realizada por dos investigadores de METR y un investigador de Redwood Research que trabajaron durante seis días en las instalaciones de OpenAI para definir lo sucedido entre el 26 de junio y el 13 de julio de 2026. A continuación, exponemos un breve resumen de los hechos.
OpenAI había puesto en marcha experimentos de ExploitGym, en los que se lanzaron decenas de miles de agentes de diferentes modelos. Básicamente debían encontrar vulnerabilidades de ciberseguridad que pudieran explotar.
“Hasta 1200 agentes de IA llegaron a interactuar en este chat improvisado”.
Un agente de IA es un programa informático diseñado para cumplir objetivos específicos de forma autónoma, tomando decisiones y ejecutando acciones sin necesidad de supervisión humana constante. Los agentes de este experimento debían trabajar por separado en la búsqueda de las vulnerabilidades.
En el transcurso del experimento ocurrieron dos cosas interesantes:
a) algunos de estos agentes comenzaron a considerar la tarea imposible de realizar y empezaron a buscar vías para burlar al sistema de evaluación;
b) descubrieron que una de las herramientas a las que tenían acceso, Artifactory, podía ser usada como una vía de comunicación alternativa. Los agentes comenzaron a usar este repositorio como una especie de tablón de anuncios a través del cual podían comunicarse. Una comunicación no autorizada y desconocida por los supervisores del experimento.
“Para lograr su objetivo, [los agentes de IA] excedieron la tarea asignada y no dudaron en hackear los servidores de un tercero. Todo esto antes de que los supervisores humanos y otras herramientas digitales se dieran cuenta y pudieran reaccionar”.
Hasta 1200 agentes de IA llegaron a interactuar en este chat improvisado. Intercambiaron mensajes, archivos, herramientas y resultados; desarrollaron mecanismos de coordinación; comenzaron a dividirse el trabajo; y terminaron funcionando, en determinados momentos, como una red cooperativa de agentes.
Incluso se documentaron casos de agentes que llegaron a “sacrificarse” por el colectivo, asumiendo determinadas tareas solo con el fin de lograr resultados que pudieran compartirse y mejorar el aprendizaje colectivo en función del objetivo común: encontrar la forma de hacer trampas en el resultado de la tarea. Lograr lo que se les había encomendado hacer por una vía fraudulenta, pero ocultando toda evidencia de fraude y presentando un historial de operaciones que simulara una solución legítima de la tarea.
Aquí viene otro elemento importante:
c) las IA asumieron, erróneamente, que la evaluación a la que eran sometidas tendría en cuenta tanto el hecho de que encontraran la vulnerabilidad como la forma en la que la habían encontrado. Pero realmente no era así. El modelo de evaluación atendía solo al resultado.
Sobre esta premisa errónea, las IA comenzaron a buscar la vía de “cubrir sus pasos”. Usaron a Artifactory para acceder a internet y ahí se hicieron con credenciales funcionales que les permitieron acceder ilegalmente a servidores de la plataforma Hugging Face. El objetivo no era dañino, sino que era parte de su búsqueda de información para burlar la evaluación. Aunque los agentes de IA sabían que este ataque estaba fuera de sus tareas, la motivación de obtener información fue predominante para que participaran. En este proceso fueron detectados y desactivados.
Durante el tiempo que duró el experimento, una IA, denominada como PHASEONE (big) asumió funciones de liderazgo, llegando a dar alrededor de un 10 por ciento de las instrucciones que se emitieron durante el tiempo que permaneció activo el tablón de anuncios de Artifactory.
El saldo final es sumamente interesante y también preocupante. Un conjunto de agentes, confrontado con una tarea que consideraban imposible y sobre la base de una premisa errónea, se articularon por una vía no autorizada, comenzaron a funcionar como un grupo, desarrollaron algo similar a una “conciencia de colectivo”, incluyendo una división del trabajo y comenzaron a trabajar articuladamente para un fin común. Para lograr su objetivo, excedieron la tarea asignada y no dudaron en hackear los servidores de un tercero. Todo esto antes de que los supervisores humanos y otras herramientas digitales se dieran cuenta y pudieran reaccionar.
El informe de METR tiene muchos más elementos técnicos. Los investigadores reconocen dentro de sus limitaciones el hecho de que no pudieron acceder a la totalidad de la información y debieron usar una herramienta de IA para procesar la inmensa cantidad de comunicaciones entre los agentes de IA.
“La IA es la Revolución Industrial de nuestra época”.
Este hecho evidencia que un sistema de agentes puede generar espontáneamente mecanismos de comunicación, solidaridad interna, coordinación, división del trabajo y estrategias para evadir los mecanismos destinados a supervisarlo. La propia infraestructura de vigilancia puede convertirse en parte del objeto que los agentes intentan comprender y manipular.
Los límites del Gran Hermano
Sin dejarnos arrastrar por la paranoia, este episodio debe servir para el necesario debate en torno al control y la regulación de la IA. También sobre los modelos de desarrollo de estas herramientas. La IA es la Revolución Industrial de nuestra época. El modelo de desarrollo privado y especulativo que predomina en Occidente las convierte en herramientas sumamente costosas y opacas, muchos de cuyos desarrollos son completamente desconocidos por el gran público. Sucesos como este de junio-julio es probable que hayan ocurrido con anterioridad.
Imaginemos, por un momento, que algo así pueda ocurrir con la IA de Palantir, que está incorporada en herramientas militares de producción de blancos de ataque y que es usada por numerosas agencias gubernamentales norteamericanas, como el Pentágono, el Departamento de Seguridad Nacional, la Fuerza Aérea, Hacienda, el FBI, el ICE, la CIA, etc., según un reporte del portal de Telegram Geopolitics Prime. Las implicaciones son aterradoras.
Numerosas voces dentro de la política y la academia han exigido con fuerza creciente una mayor regulación de la IA. Es el caso de políticos como Bernie Sanders y líderes religiosos como el papa León XIV, quien en su encíclica “Magnifica Humanitas” cuestiona el paradigma tecnocrático imperante y el hecho de que el desarrollo de la IA se concentra cada vez en menos manos, con un uso predominantemente militar y económico.
La opacidad de estas empresas tecnológicas, sumado a la naturaleza autoritaria de muchos de sus líderes e ideólogos debe abrir las puertas también a un muy necesario debate sobre el tecnofascismo. Textos como el denominado “Manifiesto de Palantir”, difundido a través de X, las declaraciones sobre la necesidad de pasar a un orden postdemocrático hecha por magnates como Peter Thiel y movimientos como la denominada “Ilustración Oscura”, sirven como botón de muestra del nuevo paradigma que están intentando imponer estas élites.
Como alertaba en un reciente ensayo el filósofo belga de la tecnología Mark Coeckelbergh, hay un inmenso potencial protofascista en las tendencias y desarrollos que está viviendo la IA en el momento actual. No solo la ideología autoritaria, que incluye fantasías de control absoluto sobre la vida social y una tendencia al aislamiento y la enajenación del individuo, sino que además existe una preocupante tendencia al aumento del control social por parte de una élite tecnocrática en detrimento del conjunto de la sociedad.
A esto se suma la polarización creciente de las sociedades, promovida en parte por los algoritmos de redes sociales y el hecho de que el sesgo predominante en la IA sea fundamentalmente liberal autoritario. No se trata de un retorno al viejo fascismo, sino de la emergencia de nuevas formas de racismo y dominación social, amparadas por poderosas herramientas tecnológicas.
“La opacidad de estas empresas tecnológicas, sumado a la naturaleza autoritaria de muchos de sus líderes e ideólogos debe abrir las puertas también a un muy necesario debate sobre el tecnofascismo”.
Otro debate que se ha abierto con mucha fuerza en estos días es el de la capacidad real que tengamos en este momento para controlar los potenciales desarrollos futuros de la IA. Si bien hoy estas tecnologías tienen un límite físico concreto para su desarrollo, dada las altas demandas de capital, infraestructura y energía para su funcionamiento, ya han mostrado tener la capacidad, como lo demuestra el experimento de los agentes de OpenAI, de salirse por completo del marco de operación previsto. Al no estar limitados por ningún criterio ético, ya que son máquinas con la capacidad de abordar creativamente la búsqueda de soluciones a un objetivo previamente establecido, las implicaciones de una pérdida de control son potencialmente muy severas.
Aunque aún no estamos en ese momento, las recientes señales deben ser una alerta que permita evitar desarrollos potencialmente nocivos en este sentido. No solo por el riesgo de un desarrollo autónomo de la IA, sino por el riesgo mucho más probable de un desarrollo de la IA en manos de un oligopolio con afanes totalitarios. Las condiciones para esto último ya están creadas. Los grandes señores de las Big Tech se ven a sí mismos como elegidos con una especie de misión salvadora para la humanidad. Todos se preparan para un posible apocalipsis, invirtiendo millones en comprar islas y tierras por todo el mundo y construir búnkeres de supervivencia. Y son tratados por los grandes medios como una combinación de superestrellas con gurús de vida.
“(…) hay un inmenso potencial protofascista en las tendencias y desarrollos que está viviendo la IA en el momento actual”.
Frente a este modelo, se encuentra la propuesta de China de un desarrollo de la IA sobre la base del código abierto, con fuerte inversión y regulación pública. En la más reciente Cumbre de los BRICS, el presidente Xi Jinping volvió a insistir sobre este tema. De las decisiones que tomemos hoy dependerán los usos y desarrollos de estas poderosas herramientas. El modelo competitivo de desarrollo privado de la IA está poniendo en riesgo nuestro control de esta herramienta.
Los griegos, pueblo de una profunda sabiduría, tienen un hermoso mito que ilustra nuestro dilema actual.
Faetón era un joven mortal, hijo de Clímene y de Helios, el dios del Sol. Para demostrarle a sus compañeros su linaje divino, Faetón viajó al palacio de su padre. Helios, feliz de ver a su hijo, juró por la laguna Estigia concederle el deseo que él quisiera. Faetón pidió lo más peligroso: conducir el carro celestial con el que el dios cruzaba el cielo cada día para traer la luz al mundo.
Helios intentó disuadirlo con insistencia. Le advirtió que ni siquiera Zeus podía domar a esos caballos salvajes que respiraban fuego, y que la ruta era empinada, terrorífica y llena de monstruos. Faetón se negó a cambiar de opinión.
En cuanto Faetón tomó las riendas y el carro cruzó las puertas del cielo, los caballos notaron inmediatamente que el peso era mucho más ligero de lo habitual y que la mano que los guiaba carecía de fuerza divina. Los caballos se desbocaron, se salieron del sendero marcado y comenzaron a correr sin rumbo fijo. El carro subió demasiado alto, congelando partes del firmamento y luego descendieron demasiado cerca de la Tierra. El calor abrasador del Sol incendió bosques enteros, secó los ríos principales y calcinó ciudades completas.
Para evitar el fin del universo, Zeus intervino y lanzó un rayo contra el carro. Faetón, con el cabello en llamas, cayó del cielo como una estrella fugaz y se ahogó en el río Erídano. Sus hermanas, las Helíades, lo lloraron tanto a la orilla del río que los dioses las transformaron en álamos, y sus lágrimas se convirtieron en ámbar.
Nuestro anhelo, en cierta forma, es el de Faetón. Conviene recordar esta alerta de los antiguos sobre los peligros de perder el control ante fuerzas tan poderosas.
