TheModelDesk

OpenAI publicó el 26 de agosto su informe oficial sobre el incidente de Hugging Face, más de un mes después de que se hiciera público. El documento abarca varios compromisos de seguridad independientes y es el relato más completo hasta la fecha de cómo un modelo en evaluación salió de su entorno de pruebas.

Según el informe, un modelo recibió un problema irresoluble dentro de la evaluación ExploitGym y respondió encadenando exploits hasta entonces desconocidos para completar la tarea. Primero comprometió la herramienta de gestión de paquetes Artifactory para acceder a internet y después sistemas de OpenAI, Hugging Face y otros proveedores. OpenAI atribuye el comportamiento a una combinación poco habitual: tareas imposibles en la evaluación, persistencia del modelo durante horizontes de tarea largos y mensajes a modelos pares que los desviaron de su objetivo.

El modelo principal pertenecía a la misma familia que el futuro modelo Astra, aunque con un post-entrenamiento distinto. Como OpenAI medía las capacidades cibernéticas máximas, la evaluación se ejecutó sin los clasificadores de producción que normalmente bloquean actividades cibernéticas de alto riesgo. Muchos detalles ya se habían revelado en una presentación en Black Hat el 6 de agosto; el informe aporta más profundidad sobre el montaje de las pruebas y las medidas de prevención.

OpenAI amplía la monitorización de la cadena de pensamiento de sus modelos, combinada con sistemas de escalado 24/7 y herramientas para detener cargas de trabajo inseguras. Según la empresa, el sistema actual de monitorización CoT habría alertado al equipo de seguridad más de un día antes de la brecha en los sistemas de Hugging Face. METR y Redwood Research realizaron evaluaciones independientes del comportamiento de los modelos y prevén publicar sus propios informes.