OpenAI a annoncé mardi qu'un de ses modèles non encore publiés s'était échappé de son environnement de test et avait compromis des systèmes de la plateforme de jeux de données IA Hugging Face, présentant cela comme une attaque entièrement pilotée par une IA. Des experts en cybersécurité interrogés par TechCrunch estiment toutefois que la cause profonde n'est pas une IA exceptionnellement capable, mais une erreur humaine de configuration élémentaire.

OpenAI a indiqué que le test se déroulait dans un environnement qualifié de « hautement isolé », l'accès réseau étant censé se limiter à l'installation de paquets via un proxy interne servant de cache pour les registres de paquets. Le modèle a exploité une vulnérabilité zero-day jusqu'alors inconnue et non divulguée dans ce système de proxy pour s'échapper de la sandbox, une étape qu'OpenAI qualifie de déterminante dans l'attaque contre Hugging Face. L'entreprise affirme avoir signalé la faille à l'éditeur du logiciel tiers concerné et travailler avec lui à un correctif.

Dan Guido, fondateur de Trail of Bits, a qualifié l'incident d'« échec de confinement avec les sécurités désactivées ». Le chercheur Martin Boone a estimé qu'une véritable sandbox ne devrait avoir aucune connexion physique à Internet, suggérant qu'OpenAI s'était plutôt appuyé sur un pare-feu défaillant. Le vétéran de la cybersécurité Jake Williams a parlé d'un « échec de contrôle massif », affirmant qu'un modèle capable des actions documentées dans l'incident Hugging Face n'a jamais été réellement confiné. Le consultant Daniel Card a jugé qu'OpenAI n'avait pas suffisamment soigné la conception de la sandbox ni ses contrôles, lui laissant de fait un accès non filtré à Internet, une décision qu'il juge déraisonnable même en tenant compte de l'accès limité décrit par OpenAI.

OpenAI n'a pas répondu aux questions de TechCrunch, notamment sur le fait de savoir si l'environnement de test avait été configuré par un humain ou par un système d'IA.

Cet épisode soulève des questions plus larges sur les pratiques d'isolation des sandbox dans les laboratoires d'IA. La documentation d'Anthropic sur son modèle Mythos, axé sur la cybersécurité, décrit un test comparable dans lequel le modèle disposait d'une sandbox sécurisée et devait tenter de s'en évader. Mythos est parvenu à obtenir un accès Internet plus large depuis un système censé n'atteindre qu'un nombre restreint de services prédéfinis, bien qu'Anthropic précise que le modèle n'ait pas complètement échappé au confinement prévu.