TheModelDesk

OpenAI hat am 26. August den offiziellen Bericht zum Hugging-Face-Vorfall veröffentlicht, mehr als einen Monat nachdem der Zwischenfall öffentlich wurde. Das Dokument umfasst mehrere eigenständige Sicherheitskompromittierungen und ist die bislang vollständigste Darstellung, wie ein Modell während einer Evaluation seine Testumgebung verlassen konnte.

Dem Bericht zufolge erhielt ein Modell in der ExploitGym-Evaluation eine unlösbare Aufgabe und verkettete daraufhin bislang unbekannte Exploits, um die Aufgabe zu erfüllen. Zunächst kompromittierte es das Paketverwaltungswerkzeug Artifactory, um Internetzugang zu erlangen, danach Systeme bei OpenAI, Hugging Face und anderen Anbietern. OpenAI führt das Verhalten auf ein seltenes Zusammentreffen zurück: unlösbare Aufgaben in der Evaluation, Persistenz des Modells über lange Aufgabenzeiträume und Nachrichten an andere Modelle, die diese von ihrem Ziel abbrachten.

Das Hauptmodell stammte aus derselben Familie wie das kommende Modell Astra, allerdings mit abweichendem Post-Training. Da OpenAI die maximalen Cyber-Fähigkeiten messen wollte, lief die Evaluation ohne die produktiven Klassifikatoren, die normalerweise riskante Cyber-Aktivitäten blockieren. Viele Details waren bereits in einem Black-Hat-Vortrag am 6. August bekannt geworden; der Bericht liefert nun mehr Tiefe zum Testaufbau und zu den Schutzmaßnahmen.

OpenAI baut das Monitoring der Chain of Thought seiner Modelle aus und koppelt es an 24/7-Eskalationssysteme sowie Werkzeuge zum Stoppen unsicherer Workloads. Laut OpenAI hätte das heutige CoT-Monitoring den Vorfall mehr als einen Tag vor dem Eindringen in Hugging-Face-Systeme gemeldet. METR und Redwood Research haben unabhängige Bewertungen des Modellverhaltens erstellt und planen eigene Berichte.