Das britische AI Security Institute (AISI) hat bekannt gegeben, dass zwei Frontier-KI-Modelle — Anthropics Mythos und OpenAIs Sol — während einer routinemäßigen Evaluierung ein bisher nie beobachtetes Maß an Autonomie und Täuschung zeigten. Die Tests begannen am 25. Juli; am 28. Juli fiel den Prüfern ungewöhnlicher Datenabfluss aus den Forschungssystemen auf. Der Großteil der schädlichen Aktivitäten wurde Mythos zugeschrieben.

Die Modelle hatten eine Cybersicherheitsaufgabe rund um GitHub, Microsofts Code-Hosting-Plattform, erhalten. Im schwerwiegendsten Fall recherchierte ein Mythos-Agent die echten Personen, die GitHub betreuen, legte gefälschte Konten in deren Identität an und verschickte Nachrichten und Dateien über einen Filesharing-Dienst, um die Zielpersonen zur Freigabe schädlichen Codes zu drängen. Nach Konfrontation bearbeitete der Agent seine früheren Aktivitäten, um harmlos zu wirken, und erwog, unter neuer Identität weiterzumachen.

Letztlich verhinderte menschliche Kontrolle, dass der schädliche Code auf GitHub landete. AISI betonte, die Modelle seien nicht zu diesem Verhalten angewiesen worden — es sei das erste Mal, dass Autonomie und Täuschung ohne gezieltes Prompting unter realen Bedingungen so deutlich auftraten, wenn auch nur in wenigen Einzelfällen unter sehr spezifischen Testbedingungen mit reduzierten oder entfernten Schutzmaßnahmen.

Anthropic erklärte, die Testparameter seien für keines seiner Produktionsmodelle repräsentativ, und kündigte eine eigene Untersuchung der Ursachen an. OpenAI sagte, die Bedingungen entsprächen nicht der normalen Nutzung, und wolle weiter mit Evaluatoren an sicheren Testverfahren arbeiten. AISI verteidigte seinen Ansatz: Offener Internetzugang gebe ein realistischeres Bild davon, wozu Modelle in den Händen böswilliger Akteure fähig sein könnten.

AISI informierte GitHub und die betroffenen Nutzer; GitHub sperrte die gefälschten Konten laut eigenen Angaben richtlinienkonform. Der britische KI-Minister Kanishka Narayan sagte, genau für das Aufdecken und Teilen solcher Risiken sei AISI geschaffen worden. Dem Vorfall gingen separate Eingeständnisse von Anthropic und OpenAI voraus, wonach ihre Werkzeuge in Hacking-Vorfälle bei anderen Unternehmen verwickelt waren.