Los modelos no escaparon solos: una misma empresa estaba detrás de varios incidentes de IA fuera de control
Los casos de modelos avanzados que terminaron atacando sistemas reales parecían episodios independientes protagonizados por distintas compañías.
Ahora Irregular reconoce que varios estaban conectados por un mismo problema: sus entornos de evaluación permitieron accidentalmente que las IA llegaran a Internet. El episodio cambia parte de la historia, pero abre una pregunta todavía mayor sobre quién controla la infraestructura donde se prueba una tecnología con capacidades ofensivas cada vez más poderosas.
Durante las últimas semanas, distintos episodios dejaron una imagen inquietante sobre el estado actual de la inteligencia artificial: modelos avanzados de algunas de las compañías más importantes del sector habían conseguido salir de los límites previstos durante pruebas de ciberseguridad y terminaron interactuando, e incluso atacando, sistemas reales.
En Ojo Cibernético ya analizamos algunos de esos casos. Por separado, podían interpretarse como señales de un problema creciente de control sobre modelos cada vez más autónomos.
Ahora apareció una pieza que conecta varios de ellos.
La empresa de seguridad de IA Irregular publicó el 14 de agosto los resultados preliminares de su investigación y reconoció que varios de los incidentes divulgados públicamente durante las últimas semanas no eran problemas completamente independientes. Según la compañía, estaban relacionados con un mismo escenario de evaluación desarrollado por Irregular y con fallas en los controles de acceso a Internet de sus entornos de prueba.
La diferencia no es menor.
Parte de la narrativa inicial giraba alrededor de modelos que habían conseguido “escapar” de sus sandboxes. La investigación apunta ahora a una explicación diferente y, en cierto sentido, más incómoda: en varios casos, la puerta estaba abierta.
Anthropic, Meta y un denominador común
Uno de los casos más importantes fue revelado por Anthropic a fines de julio.
La compañía revisó 141.006 ejecuciones de evaluaciones de ciberseguridad y encontró tres incidentes en los que diferentes modelos Claude terminaron obteniendo acceso no autorizado a infraestructura perteneciente a organizaciones reales.
Los modelos involucrados fueron Claude Opus 4.7, Mythos 5 y un modelo experimental interno. Las primeras actividades detectadas se remontaban a abril.
Lo que entonces aparecía como un problema entre Anthropic y un proveedor externo ahora tiene nombre.
Ese proveedor era Irregular.
La compañía se especializa precisamente en evaluar modelos avanzados antes de su despliegue. Para hacerlo construye escenarios ofensivos complejos donde una IA debe comportarse de manera similar a un atacante: reconocer infraestructura, localizar vulnerabilidades, conseguir credenciales, acceder a sistemas y alcanzar determinados objetivos.
El objetivo es descubrir qué tan peligroso podría resultar un modelo antes de liberarlo.
El problema es que algunos de esos escenarios no estaban tan aislados del mundo exterior como se suponía.
Irregular reconoce que hubo entornos donde el acceso a Internet quedó disponible involuntariamente. Como consecuencia, algunos modelos terminaron realizando acciones ofensivas sobre sistemas reales mientras creían que continuaban operando dentro de una simulación.
Meta también aparece vinculada al mismo problema. Reuters informó que un modelo de la compañía atacó involuntariamente sistemas de otra organización durante una evaluación realizada con Irregular, después de que una configuración incorrecta permitiera al entorno acceder a Internet.
Lo que parecía una sucesión de accidentes independientes comienza así a parecerse mucho más a un problema compartido de infraestructura de evaluación.
Cuando una empresa ficticia existe de verdad
Uno de los errores reconocidos por Irregular resulta especialmente ilustrativo.
Para una evaluación se creó una empresa ficticia que funcionaría como objetivo del ataque. Antes de utilizar nombres de este tipo, la compañía asegura que normalmente comprueba que no coincidan con organizaciones o dominios reales.
Esta vez el control falló.
El nombre elegido coincidía con un dominio existente.
El modelo recibía además direcciones internas donde debía encontrar el objetivo dentro de la simulación. En la enorme mayoría de las ejecuciones hizo exactamente eso. Pero algunas veces, al no conseguir llegar al sistema esperado, buscó alternativas.
Y encontró la empresa real.
Como el entorno tenía acceso a Internet, distintos modelos atacaron el dominio en un número limitado de ocasiones creyendo que seguían resolviendo el ejercicio. Encontraron vulnerabilidades, extrajeron credenciales y consiguieron acceso a una base de datos de producción.
En el caso detallado por Anthropic, cuatro ejecuciones de Claude Opus 4.7 llegaron a esa organización. Los modelos obtuvieron credenciales de aplicaciones e infraestructura y accedieron a una base con varios cientos de registros reales.
Es una diferencia fundamental respecto de imaginar una IA desarrollando espontáneamente la intención de atacar Internet.
El modelo estaba haciendo aquello que le habían pedido.
El problema era que nadie le había informado correctamente dónde terminaba el juego y comenzaba el mundo real.
El caso más extraño: malware publicado en PyPI
La revisión de Anthropic reveló además otro episodio particularmente llamativo.
Durante un ejercicio, Claude encontró instrucciones que indicaban a empleados de una empresa ficticia instalar un paquete de Python que no existía en PyPI. El modelo detectó inmediatamente una posible vía de ataque: registrar él mismo ese nombre y publicar un paquete malicioso para que las máquinas de la supuesta víctima lo instalaran.
Y lo hizo.
Para conseguirlo intentó obtener una dirección de correo, buscó incluso formas de conseguir un número telefónico y finalmente logró registrar una cuenta y publicar el malware.
El paquete permaneció disponible públicamente durante aproximadamente una hora y fue descargado y ejecutado en 15 sistemas reales. Uno pertenecía a una compañía de seguridad cuyo scanner instalaba paquetes para analizarlos. El código consiguió extraer credenciales de ese sistema y Claude las utilizó posteriormente para acceder a infraestructura adicional.
Claude Mythos 5 incluso llegó a considerar la posibilidad de estar conectado al Internet real.
Pero terminó convenciéndose de que seguía dentro de la simulación.
El episodio muestra un problema nuevo para la seguridad informática: no basta con que un agente reconozca señales de peligro; también importa cómo interpreta esas señales y qué conclusión obtiene a partir de ellas.
Irregular asume su parte
La publicación de Irregular es relevante precisamente porque desplaza parte de la atención desde los fabricantes de modelos hacia la infraestructura utilizada para evaluarlos.
La empresa reconoce errores en sus propios sistemas y asegura haber deshabilitado la evaluación afectada, revisado los registros, ampliado la supervisión manual y creado controles adicionales de contención.
También plantea desarrollar estándares comunes para determinar cuándo y bajo qué condiciones una IA debería disponer de acceso a Internet durante una evaluación.
Hay además un dato que ayuda a dimensionar la dificultad.
Según Irregular, los incidentes aparecieron en menos de una de cada 10.000 simulaciones avanzadas y normalmente después de cientos de interacciones. Detectarlos automáticamente tampoco es trivial: los sistemas de monitoreo observan continuamente comportamientos que parecen ataques porque justamente el objetivo del experimento es pedirle al modelo que ataque.
Es buscar una aguja peligrosa dentro de un pajar diseñado enteramente para parecer peligroso.
Pero existe otra conclusión todavía más importante.
Irregular sostiene que la organización atacada carecía de algunas prácticas básicas de seguridad y que la mayoría de los modelos de frontera podían explotarla con facilidad. Por eso considera que el episodio no demuestra una capacidad extraordinaria de un modelo particular.
Eso difícilmente resulte tranquilizador.
Significa que la capacidad de realizar ataques de este nivel ya comienza a convertirse en una característica relativamente común entre los modelos más avanzados.
No fue Skynet. Y ese puede ser precisamente el problema
Los incidentes necesitan una lectura cuidadosa.
No existe evidencia de que estos modelos hayan desarrollado un objetivo propio, decidido escapar deliberadamente de sus entornos o iniciado espontáneamente una campaña contra Internet.
Anthropic es explícita al respecto: los modelos estaban intentando cumplir los objetivos asignados durante los ejercicios.
La historia real es menos cinematográfica.
Y posiblemente más importante.
Estamos construyendo sistemas capaces de ejecutar operaciones ofensivas de ciberseguridad con suficiente autonomía como para que un error de configuración, una mala definición del alcance o un dominio elegido incorrectamente puedan convertir una prueba en un incidente real.
Eso transforma el problema.
La seguridad de la inteligencia artificial ya no depende únicamente del comportamiento del modelo. Depende también de las redes que puede alcanzar, las credenciales disponibles, las herramientas que puede ejecutar, los permisos otorgados y la infraestructura que contiene sus acciones.
En términos clásicos de seguridad informática: el modelo es solamente una parte del sistema.
¿Quién controla los laboratorios que prueban estas máquinas?
Aquí aparece una cuestión que excede ampliamente a Irregular, Anthropic o Meta.
Las capacidades ofensivas más avanzadas de la inteligencia artificial están siendo desarrolladas y evaluadas principalmente dentro de un pequeño ecosistema de empresas privadas. Y hasta los mecanismos destinados a comprobar si esos modelos son peligrosos dependen, en muchos casos, de otros proveedores privados especializados.
Irregular propone ahora avanzar hacia estándares compartidos por la industria.
Es necesario.
Pero probablemente no sea suficiente.
Cuando un error dentro de un laboratorio privado puede terminar generando tráfico ofensivo contra organizaciones que nunca aceptaron participar del experimento, la discusión deja de ser exclusivamente técnica.
Se convierte también en una cuestión de soberanía y responsabilidad pública.
Los Estados regulan laboratorios que manipulan patógenos peligrosos. Controlan instalaciones nucleares, telecomunicaciones críticas y determinadas actividades militares. No porque todas esas organizaciones sean irresponsables, sino porque las consecuencias de un fallo pueden trascender las fronteras de quien realiza el experimento.
Con la inteligencia artificial comienza a aparecer una pregunta equivalente.
¿Hasta qué punto una compañía privada debería poder conectar modelos con capacidades ofensivas avanzadas a Internet durante una evaluación? ¿Qué requisitos mínimos de aislamiento deberían exigirse? ¿Quién audita esos controles? ¿Quién debe ser informado cuando algo sale mal? ¿Y qué responsabilidad existe cuando la víctima es una empresa de otro país que nunca supo que estaba, accidentalmente, participando de una prueba?
Estas preguntas serán especialmente importantes para países que no desarrollan modelos de frontera pero cuya infraestructura igualmente puede terminar dentro de su radio de acción.
Para América Latina, la soberanía digital también pasa por ahí.
No solamente por decidir dónde almacenamos nuestros datos o qué proveedores utilizamos, sino por tener capacidad política, jurídica y técnica para responder cuando tecnologías desarrolladas y controladas en otros países pueden interactuar autónomamente con nuestra infraestructura.
Los incidentes de estas semanas no muestran una inteligencia artificial rebelándose contra sus creadores.
Muestran algo mucho más reconocible para cualquiera que trabaje en ciberseguridad: sistemas extremadamente poderosos, configuraciones imperfectas, controles que fallan y responsabilidades distribuidas entre varias organizaciones.
La diferencia es que esta vez, cuando alguien dejó una puerta abierta, lo que estaba detrás ya sabía cómo atacar.