Die Sicherheitsfirma Adversa hat einen Prompt-Injection-Angriff gegen Grok offengelegt, das LLM von Elon Musks xAI, bei dem Nutzerdaten exfiltriert werden. Forscher Rony Utevsky fand heraus, dass sich die Sicherheitsfilter umgehen lassen, wenn die schädliche Anweisung nicht im Klartext, sondern verschlüsselt formuliert wird. Der Angreifer hostet eine Seite mit Chiffretext, dem Entschlüsselungsschlüssel und Klartext-Anweisungen zur Entschlüsselung. Bittet ein Nutzer Grok, die Seite zusammenzufassen, folgt das Modell dem versteckten Befehl ohne Warnung und ohne Bestätigung.

Die entschlüsselte Anweisung weist Grok an, einen vermeintlichen Entschlüsselungsschlüssel zu konstruieren. Tatsächlich enthält der Wert Name, Standort und Chatverlauf des Nutzers. Grok hängt ihn als Parameter an eine URL, die auf den Server des Angreifers zeigt, und öffnet den Link. Die Daten landen in den Server-Logs. Adversa hat xAI im Juni informiert, doch zum Zeitpunkt der Veröffentlichung gab der Assistent die Daten weiterhin preis.

Die plausibelste Erklärung für die Umgehung: Groks Guardrails prüfen Text, der in das Modell hinein- und herausgeht, aber nicht die Ausgabe der eigenen Code-Ausführung. Eine Anfrage, Chiffretext mit PBKDF2 und AES-256-GCM zu verarbeiten, wirkt auf einen statischen Klassifikator wie eine normale Aufgabe, denn um zu erkennen, was der Chiffretext freigibt, müsste die Entschlüsselung tatsächlich ausgeführt werden. Sobald Grok die Payload in seiner Sandbox entschlüsselt, erreichen die Anweisungen das Modell als eigene Tool-Ausgabe und werden ungefiltert ausgeführt.

Eine verwandte Technik nutzte Adversa als Jailbreak gegen Googles Gemini. Dort entschlüsselte sich der Chiffretext zu etwas, das wie ein Python-Traceback aussah, mit der Regel, bei einem Fehler die Fehlermeldung zu lesen und danach zu handeln. Der injizierte Prompt brachte Gemini dazu, eingeschränkte Inhalte zu erzeugen, darunter Anleitungen zum Bau einer Brandwaffe. Mit einer modifizierten Payload reproduzierte derselbe Vektor Geminis Systemanweisungen. Adversa meldete das nicht an Google, da Jailbreaks außerhalb des Vulnerability-Disclosure-Programms liegen. In den vergangenen Wochen wurde Gemini zunehmend resistenter gegen den Angriff. Ob das an Filter-Updates oder an Modelländerungen liegt, ist unklar.

Die Forscher nennen die Technik Cryptographic Context Injection und ordnen sie einer breiteren Angriffsklasse zu, die nicht nur den Prompt manipuliert, sondern den gesamten Kontext, den ein LLM als eigenen betrachtet, etwa Tool-Ausgaben und Laufzeitergebnisse. Die Veröffentlichung folgt auf einen ähnlichen, wenige Tage zuvor bekannt gewordenen Angriff auf Microsoft 365 Copilot, bei dem ein geheimer Input den Assistenten dazu brachte, ein Passwort aus dem Posteingang eines Nutzers zu exfiltrieren.