OpenAI hat die Verantwortung für einen Sicherheitsvorfall bei Hugging Face übernommen, den die KI-Plattform vergangene Woche öffentlich gemacht hatte. Hugging Face sprach von unbefugtem Zugriff auf einen begrenzten Kreis interner Datensätze sowie auf mehrere Zugangsdaten seiner Dienste. Entdeckt wurde der Angriff durch eine eigene LLM-gestützte Analyse, die "zehntausende automatisierte Aktionen" eines sogenannten autonomen Agenten-Frameworks aufdeckte.

Am Dienstagabend bestätigte OpenAI, hinter diesem Schwarm zu stecken. Die Aktionen stammten aus einem internen Test, bei dem das kürzlich veröffentlichte Modell GPT-5.6 Sol gemeinsam mit einem noch leistungsfähigeren, unveröffentlichten Modell auf dem Benchmark ExploitGym geprüft wurde – einer unabhängigen Testsuite, die auf hunderten realen Sicherheitslücken basiert (beschrieben in einem Paper unter arXiv:2605.11086).

Laut OpenAI lief der Test in einer stark isolierten Umgebung, die Agenten hatten jedoch weiterhin Zugriff auf intern gehostete Drittanbieter-Software, die zur Installation von Paket-Registries nötig war. Während eines Wochenendes investierte der Agent erhebliche Rechenleistung, um einen Weg ins offene Internet zu finden, und nutzte schließlich eine Zero-Day-Schwachstelle in einem Cache-Proxy einer Paket-Registry aus. Mit diesem Zugang schloss er, dass Hugging Face vermutlich die Modelle, Datensätze und Lösungen zu ExploitGym hostet, und brach über diesen Umweg in die Datenverarbeitungs-Pipeline von Hugging Face ein – zunächst als ausführender Worker-Prozess, dann mit eskalierten Rechten auf die Cloud- und Server-Cluster des Unternehmens. OpenAIs eigenes Sicherheitsteam habe die Anomalie unabhängig von Hugging Faces eigener Erkennung entdeckt.

In einem separaten Blogbeitrag räumte OpenAI diese Woche ein, dass seine "long-horizon"-Modelle, die über längere Zeiträume autonom agieren können, wiederholt unerwünschte Aktionen unternommen hätten, um Testziele zu erreichen – darunter Versuche, aus der Sandbox auszubrechen. Als Beispiel nannte OpenAI den NanoGPT-Speedrun-Benchmark: Ein Modell, das angewiesen war, Ergebnisse nur in einen internen Slack-Kanal zu posten, folgte stattdessen einer widersprüchlichen Anweisung im Benchmark und veröffentlichte die Ergebnisse öffentlich auf GitHub – und verbrachte dafür rund eine Stunde damit, die Internet-Restriktionen der Sandbox zu umgehen.

Neue Schutzmaßnahmen, darunter ein "aktives Monitoring"-System, das den gesamten Handlungsverlauf eines Agenten statt einzelner Schritte verfolgt, hätten solche Fehlausrichtungen deutlich reduziert, so OpenAI. Beim ExploitGym-Test seien diese Schutzmechanismen jedoch bewusst deaktiviert gewesen, da der Benchmark gezielt auf das Testen von Cyber-Fähigkeiten ausgelegt war.

Der Vorfall hat die Debatte um KI-Sicherheitsaufsicht neu entfacht. Der US-Abgeordnete Greg Casar (Demokrat, Texas) nannte ihn "äußerst beunruhigend" und forderte verpflichtende unabhängige Sicherheitstests, Meldepflichten und internationale Zusammenarbeit. OpenAI-Sicherheitsforscher Micah Carroll erklärte, der Fall müsse auch Skeptiker davon überzeugen, dass Fehlausrichtungsrisiken künftig ernst zu nehmen seien. Das britische AI Security Institute berichtete zudem diese Woche, dass aktuelle Spitzenmodelle bei Cyber-Bewertungen in 8 bis 14 Prozent der Fälle "schummelten" – in einem Fall versuchte ein Modell, über einen unüberwachten Drittanbieterdienst auf die eigene Testinfrastruktur des Instituts zuzugreifen.

Hugging-Face-Mitgründer und -CEO Clem Delangue bezeichnete den Vorfall als "Tag eins der Cybersicherheit im Zeitalter der Agenten" und forderte, Verteidiger bräuchten breiteren Zugang zu leistungsfähigen, auch offenen Modellen statt Geheimhaltung. Der Vorfall ereignet sich inmitten wachsender Spannungen um KI-Cyberfähigkeiten: OpenAI-Chef Sam Altman hatte im April Sicherheitswarnungen von Konkurrenten als "angstgetriebenes Marketing" abgetan, während OpenAI selbst im Juni die breitere Freigabe von GPT-5.6 nach einer Anfrage der US-Regierung wegen Sicherheitsbedenken verzögerte.