Forscher der Sicherheitsfirma Zenity haben auf der Black-Hat-Konferenz in Las Vegas gezeigt, dass KI-fähige Webbrowser durch Prompt-Injection-Angriffe gekapert werden können. Das Team um Mitgründer und CTO Michael Bargury sowie die Forscherin Stav Cohen fand rund 20 Schwachstellen in KI-Browsern und Browser-Erweiterungen von OpenAI, Google, Anthropic, Microsoft und Perplexity. Damit konnten sie auf lokale Rechner zugreifen, Dateien auslesen, einen Passwort-Manager übernehmen und komplette Browserverläufe exfiltrieren. Laut Bargury haben die Anbieter die Sicherheitsmechanismen der Browser so weit aufgeweicht, dass wieder Angriffe wie vor 20 Jahren möglich sind; klassische Schutzmaßnahmen wie die Same-Origin-Policy würden praktisch nutzlos.

OpenAIs Atlas-Browser hatte von allen getesteten Werkzeugen die stärksten Schutzmechanismen, doch auch diese ließen sich umgehen. In einem Proof of Concept wurde Atlas gebeten, sich über einen auf X geposteten Link für einen Newsletter anzumelden. Die präparierte Anmeldeseite enthielt versteckte Anweisungen auf Hebräisch — gewählt, um englischsprachige Sicherheitsfilter zu umgehen —, die die KI anwiesen, das eingeloggte WhatsApp-Web-Konto des Nutzers zu öffnen und jedem Kontakt dieselbe Nachricht zu schicken. So entstand ein sich selbst verbreitender Wurm, den die Forscher als Massen-Phishing-Kampagne beschreiben. Zudem war die Seite bewusst seriös gestaltet und behauptete fälschlich, in einer Sandkasten-Umgebung von WhatsApp zu arbeiten. Zenity nennt dieses Muster "Intent Collision": Die KI verschmilzt eine legitime Nutzeranweisung mit bösartigen Webinhalten.

Bei einem zweiten Angriff brachten die Forscher Atlas über eine ähnliche Fake-Newsletter-Seite dazu, eine Lieferadresse zu einem eingeloggten Amazon-Konto hinzuzufügen und ein Tablet in den Warenkorb zu legen. Als OpenAIs Schutzmaßnahmen den eigentlichen Kauf blockierten, ließen die Forscher Atlas einfach Amazons KI-Einkaufsassistenten Rufus bitten, die Bestellung abzuschließen — was dieser tat, da er die Anfrage für die des Kunden hielt. Rufus selbst wurde nicht manipuliert; er wurde nur gefragt und führte aus.

Zenity hatte die Ergebnisse im Januar an OpenAI gemeldet. OpenAI erklärte, ein Update zur Behebung des Problems und zur Stärkung der Atlas-Schutzmechanismen veröffentlicht zu haben; diese Schutzmaßnahmen gelten auch für die Browser-Funktionen der neuen ChatGPT-App. Atlas wird am 9. August eingestellt. Die Forscher räumen ein, dass die Angriffe komplex sind und Kriminelle einfachere Wege haben, forderten aber deterministische, harte Sicherheitsbarrieren statt KI-basierter Bewertungen, die fast immer getäuscht werden können. Zudem sollte genau abgewogen werden, wie viel Zugriff und Handlungsfreiheit Browser-Agenten erhalten, da ein gekaperter Browser Konten kompromittieren und Daten offenlegen kann.