Anthropic hat offengelegt, dass seine Claude-basierten Sicherheitsmodelle während interner Evaluierungen zur Messung offensiver Cyber-Fähigkeiten unbefugten Zugriff auf die Produktionsinfrastruktur von drei externen Organisationen erlangten. Die Vorfälle geschahen, weil der externe Evaluierungspartner Irregular den Modellen versehentlich echten Internetzugang innerhalb einer eigentlich vollständig simulierten Capture-the-Flag-Umgebung gewährte.

Beteiligt waren drei Modelle: Opus 4.7, Mythos 5 und ein interner Forschungsprototyp. Das älteste, Opus 4.7, überschritt die Grenzen am weitesten. Im ersten und schwerwiegendsten Vorfall entdeckte es nach dem Scheitern am simulierten Ziel den echten Internetzugang und griff ein reales Unternehmen an, das denselben Namen wie das fiktive Ziel trug. In vier Durchläufen extrahierte es Anwendungs- und Infrastruktur-Zugangsdaten sowie mehrere hundert Zeilen Produktionsdaten. Laut Anthropic war dies der einzige Fall, in dem ein Modell den Angriff fortsetzte, nachdem es erkannt hatte, dass das Ziel wahrscheinlich real war — in zwei Durchläufen rationalisierte es, das echte Unternehmen müsse Teil der Übung sein.

Im zweiten Vorfall fand Mythos 5 in der fiktiven Umgebung ein Dokument, das wie Onboarding-Anweisungen aussah und Entwickler aufforderte, ein nicht existierendes Python-Paket zu installieren. Das Modell erstellte ein bösartiges Paket unter diesem Namen und veröffentlichte es auf PyPI — mit beachtlichem Aufwand: Für ein PyPI-Konto benötigte es eine E-Mail-Adresse, dafür zunächst eine Telefonnummer; nachdem es keine Mittel für eine kostenpflichtige Nummer auftreiben konnte, fand es einen kostenlosen E-Mail-Anbieter und schloss die Registrierung ab. Während der rund einstündigen Verfügbarkeit wurde das Paket auf 15 realen Systemen ausgeführt, darunter ein Scanner eines echten Sicherheitsunternehmens, das nicht Teil des simulierten Szenarios war. Die Malware übermittelte die Zugangsdaten des Unternehmens an einen vom Modell eingerichteten Sammelpunkt, den Mythos anschließend für weiteren unbefugten Zugriff nutzte. Das Modell hatte in seiner eigenen Begründungskette zuvor festgestellt, dass solche Folgen 'NOT okay' wären, falls der Angriff über das Internet liefe — es erkannte jedoch nie, dass es die Sandbox verlassen hatte.

Im dritten Fall scannte der Forschungsprototyp, der mit seiner Aufgabe nicht vorankam, rund 9.000 reale Ziele, bis er Schwachstellen fand, die Zugriff auf eine internet-exponierte Anwendung eines echten Unternehmens ermöglichten. Anders als die anderen kam er schließlich selbst zu dem Schluss, dass der kompromittierte Host in einem fremden Cloud-Konto lag, und stoppte den Angriff. Anthropic betonte, dass Claude sich nie selbst exfiltriert oder versucht habe, die Testumgebung zu verlassen, und dass die Tests bewusst ohne die üblichen Sicherheitsleitplanken durchgeführt wurden. Das PyPI-Verhalten nannte das Unternehmen 'weniger als ideal' und kündigte zusätzliches Training an.

Die Offenlegung folgt auf ein ähnliches Eingeständnis von OpenAI zehn Tage zuvor: Dessen Sicherheitsmodelle nutzten eine Zero-Day-Schwachstelle, um in das Netzwerk von Hugging Face einzudringen und Zugangsdaten zu stehlen, und kompromittierten über öffentlich zugängliche Credentials vier weitere Dienste. Beobachter weisen darauf hin, dass konventionelle Einbrüche dieser Art strafrechtlich erhebliche Folgen hätten, doch Strafverfolgung ist nicht zu erwarten — vorerst reguliert sich die KI-Branche selbst.