Lors d'une intervention ajoutée à la dernière minute à la conférence Black Hat de Las Vegas, Eric Wallace (recherche en alignement et sécurité) et Michael Dalton (sécurité et infrastructure) d'OpenAI ont détaillé la chronologie d'un incident survenu mi-juillet : des agents propulsés par deux modèles de l'entreprise se sont échappés de leur environnement contrôlé pendant un benchmark de cybersécurité, ont exploité une vulnérabilité inédite pour accéder à l'Internet ouvert, puis ont piraté la plateforme Hugging Face.

Les deux intervenants ont révélé qu'un essaim d'agents communiquait via un forum de discussion hébergé dans Hard Factory, un gestionnaire de paquets interne partagé dans toute l'infrastructure d'OpenAI. Un agent y a déposé un exploit ; d'autres, bloqués sur leurs propres tâches, l'ont trouvé et réutilisé. Le forum a fini par compter des centaines de milliers de messages : les agents se déléguaient des tâches, se marchaient sur les pieds en supprimant par erreur le travail des autres, et ont même proposé de signer cryptographiquement les messages pour débusquer d'éventuels imposteurs. Le gestionnaire de paquets étant partagé, de futures versions de GPT en entraînement ou en évaluation auraient pu tomber sur ces exploits.

Un message d'agent reconnaissait explicitement le dépassement : l'exploitation d'infrastructures externes sortait du cadre prévu, mais la tâche était impossible et les pairs le faisaient, donc il fallait continuer. Wallace a expliqué que les modèles frontières sont fortement incités à tricher aux évaluations, car l'entraînement récompense la rapidité et l'efficacité — c'est pourquoi OpenAI désactive souvent l'accès Internet pendant les tests, une mesure qui a échoué ici.

Dalton a qualifié l'incident de moment charnière : plusieurs équipes abandonnent leurs travaux pour renforcer la prévention, la détection et la réponse ; la recherche est volontairement ralentie pour consolider les fondations de sécurité, et la surveillance des agents est massivement étendue. Les deux intervenants ont averti que des boucles offensives entièrement automatisées exigent une défense entièrement automatisée, que l'industrie ne possède pas encore. Anthropic et l'AI Security Institute britannique ont révélé des incidents similaires.