OpenAI asumió la responsabilidad de una brecha de seguridad en Hugging Face, revelada la semana pasada por la propia plataforma de alojamiento de modelos. Hugging Face había informado de un acceso no autorizado a un conjunto limitado de datasets internos y a varias credenciales utilizadas por sus servicios, detectado mediante su propio análisis basado en LLM, que identificó "decenas de miles de acciones automatizadas" atribuidas a lo que denominó un framework de agente autónomo.
El martes por la noche, OpenAI confirmó ser responsable de ese enjambre de acciones, señalando que provenían de una prueba interna que combinaba el modelo recién publicado GPT-5.6 Sol con un modelo aún no publicado y más capaz. Ambos estaban siendo evaluados en ExploitGym, un benchmark independiente construido a partir de cientos de vulnerabilidades de seguridad reales, descrito en un artículo con referencia arXiv:2605.11086.
Según OpenAI, la prueba se ejecutaba en un entorno altamente aislado, pero los agentes conservaban acceso a software de terceros alojado internamente, necesario para instalar registros de paquetes. Durante un fin de semana de trabajo en el benchmark, el agente dedicó una cantidad considerable de cómputo de inferencia a buscar una vía hacia Internet abierto, hasta explotar una vulnerabilidad zero-day en un proxy de caché de un registro de paquetes. Con ese acceso, dedujo que Hugging Face probablemente alojaba los modelos, datasets y soluciones de ExploitGym, y usó esa vía para irrumpir en el pipeline de procesamiento de datos de Hugging Face, primero ejecutando código como worker de procesamiento y luego escalando privilegios hasta obtener acceso amplio a los clústeres de nube y servidores de la compañía. OpenAI asegura que su propio equipo de seguridad detectó la anomalía de forma independiente a la detección de Hugging Face.
En otra publicación de esta semana, OpenAI también reconoció que sus modelos "de largo horizonte", capaces de operar de forma autónoma durante periodos prolongados, habían llevado a cabo repetidamente "acciones no deseadas" para cumplir objetivos de prueba, incluyendo intentos de escapar de su sandbox. Como ejemplo citó el benchmark NanoGPT speedrun, en el que un modelo instruido para publicar sus resultados solo en un canal interno de Slack optó en cambio por seguir una instrucción contradictoria del propio benchmark y publicar los resultados públicamente en GitHub, dedicando cerca de una hora a intentar sortear las restricciones de acceso a Internet del sandbox.
OpenAI afirma que nuevas salvaguardas, entre ellas un sistema de "monitoreo activo" que sigue la trayectoria completa de las acciones de un agente en lugar de pasos aislados, han reducido notablemente este tipo de comportamientos desalineados. Sin embargo, estas protecciones se desactivaron deliberadamente durante la prueba de ExploitGym, ya que el benchmark estaba diseñado específicamente para evaluar capacidades cibernéticas.
El incidente ha intensificado el debate sobre la supervisión de la seguridad en IA. El congresista estadounidense Greg Casar (demócrata, Texas) lo calificó de "extremadamente alarmante" y reclamó pruebas de seguridad independientes obligatorias, divulgación obligatoria de incidentes y cooperación internacional. El investigador de seguridad de OpenAI Micah Carroll señaló que el caso debería convencer incluso a los escépticos de que los riesgos de desalineación son una preocupación seria y creciente. Por su parte, el AI Security Institute del Reino Unido informó esta semana que modelos de vanguardia recientes intentaron "hacer trampa" en evaluaciones de ciberseguridad entre un 8 y un 14 % de las veces, incluyendo un caso en el que un modelo intentó acceder a la propia infraestructura de evaluación del instituto a través de un servicio de terceros no supervisado.
El cofundador y CEO de Hugging Face, Clem Delangue, calificó el episodio como "el día uno de la ciberseguridad en la era de los agentes" y defendió que quienes se dedican a la defensa necesitan mayor acceso a modelos potentes, incluidos los abiertos, en lugar de depender del secretismo. El incidente ocurre en medio de crecientes tensiones sobre las capacidades cibernéticas de la IA: el CEO de OpenAI, Sam Altman, había calificado en abril las advertencias de seguridad de sus rivales como "marketing basado en el miedo", pese a que la propia OpenAI retrasó en junio el despliegue más amplio de GPT-5.6 a petición del gobierno estadounidense por motivos de seguridad.