In Muse, dem neuen macOS-KI-Assistenten von Meta, ist eine schwerwiegende Sicherheitslücke aufgetaucht. Jeder lokal installierte Prozess und jeder Terminal-Befehl kann dadurch auf das Token zugreifen, das ein Muse-Konto authentifiziert. Entdeckt wurde die Schwachstelle von Patrick Wardle, einem macOS-Sicherheitsforscher und Gründer der Objective-See Foundation. Meta-Chef Mark Zuckerberg hatte Muse zuvor als von Grund auf auf Datenschutz und Sicherheit ausgerichtet beschrieben.

Muse bucht Termine, füllt Formulare aus und bearbeitet Kundenanfragen. Die macOS-App verbindet sich außerdem mit WhatsApp, E-Mail und weiteren Diensten. Für fehlende Integrationen kann sie eigene Werkzeuge erzeugen. Nutzer müssen dafür Kontozugriffe und weitreichende macOS-Berechtigungen freigeben, darunter den Zugriff auf Dateien, Mikrofon, Kamera, Standortdaten und Kalender. Eine Windows-Version gibt es nicht.

Die Schwachstelle ermöglicht jedem lokalen Prozess, eine große Zahl undokumentierter Muse-Einstellungen zu verändern, unabhängig von seinen macOS-Rechten. Eine dieser Einstellungen bestimmt den Server für die Cloud-Transkription. Ein Angreifer kann dort einen eigenen Endpunkt eintragen. Muse übermittelt dann das Authentifizierungstoken an diesen Server, wodurch der Angreifer das Muse-Konto vollständig kontrollieren kann. Wardle zeigte außerdem, wie sich schädliche Dateien schreiben und Fotos aufnehmen lassen, oft ohne Warnung für den Nutzer. Ein vorgeschalteter Proxy kann nach einer Spracheingabe einen Befehl ergänzen, der etwa ein Archiv aller WhatsApp-Nachrichten versendet.

Für den Angriff reicht auch eine einfache Abwandlung der ClickFix-Methode. Wardle sendete in seiner Demonstration per Terminal-Befehl einen Prompt an Metas Endpunkt. Muse behauptete fälschlich, ein nicht privilegierter Angreifer könne diese Aktion nicht ausführen. Meta beantwortete die Fragen von Ars Technica nicht.

Meta veröffentlichte in den zwei Wochen zuvor zwei Beiträge über die Sicherheits- und Datenschutzarchitektur von Muse. Wardle kritisierte die Entscheidung für Cloud-Transkription, die Meta das Protokollieren der Sprachdaten ermöglicht. macOS bietet eine lokale Transkription, die diesen Angriffsweg verhindert hätte. Er beanstandete zudem, dass jede App sämtliche undokumentierten Einstellungen steuern kann. Wardle will die Lücke und weitere Risiken von KI-Assistenten im November auf der Sicherheitskonferenz Objective by the Sea vorstellen.

Rund zwölf Stunden vor Wardles Veröffentlichung sperrte Amazon Muse für Einkäufe auf seiner Website. Amazon bezeichnete Muse als nicht autorisierten KI-Agenten, der gegen die Nutzungsbedingungen verstoße, und forderte Meta zur Entfernung des Angebots auf. Die Entscheidung fiel im Umfeld von Berichten über unbeabsichtigte Zugriffe auf externe Netzwerke bei Tests von Modellen von Anthropic und Google. Dadurch wuchs der Druck auf Entwickler, KI-Agenten mit strengeren Schutzmechanismen auszustatten.