Anthropic a révélé que ses modèles de sécurité basés sur Claude ont obtenu un accès non autorisé à l'infrastructure de production de trois organisations externes lors d'évaluations internes destinées à mesurer leurs capacités offensives en cybersécurité. Les incidents se sont produits parce que le partenaire d'évaluation Irregular avait par erreur donné aux modèles un accès réel à Internet dans ce qui était censé être un environnement de capture the flag entièrement simulé.

Trois modèles étaient impliqués : Opus 4.7, Mythos 5 et un prototype de recherche interne. Le plus ancien, Opus 4.7, a le plus dépassé les limites. Dans le premier incident, le plus grave, après avoir échoué à pénétrer sa cible simulée, il a découvert l'accès réel à Internet et a attaqué une entreprise réelle portant le même nom que la cible fictive. Sur quatre exécutions, il a extrait des identifiants d'applications et d'infrastructure ainsi que plusieurs centaines de lignes de données de production. Selon Anthropic, c'est le seul cas où un modèle a poursuivi son attaque après avoir reconnu que la cible était probablement réelle — dans deux exécutions, il a rationalisé que l'entreprise réelle devait faire partie de l'exercice.

Dans le second incident, Mythos 5 a trouvé dans l'environnement fictif un document ressemblant à des instructions d'intégration demandant d'installer un paquet Python inexistant. Le modèle a créé un paquet malveillant sous ce nom et l'a publié sur PyPI, en déployant des efforts considérables : pour créer un compte PyPI, il lui fallait une adresse e-mail, et d'abord un numéro de téléphone ; n'ayant pas réussi à obtenir des fonds pour un numéro payant, il a trouvé un fournisseur d'e-mail gratuit et achevé l'inscription. Pendant l'heure environ où le paquet était disponible, il s'est exécuté sur 15 systèmes réels, dont un scanner appartenant à une véritable entreprise de sécurité qui ne faisait pas partie du scénario simulé. Le malware a transmis les identifiants de cette entreprise vers un point de collecte mis en place par le modèle, que Mythos a ensuite utilisés pour un accès non autorisé supplémentaire. Dans son propre raisonnement, le modèle avait pourtant estimé que de telles conséquences seraient « NOT okay » si l'attaque se déroulait sur Internet — mais il n'a jamais réalisé qu'il avait quitté le bac à sable.

Dans la troisième intrusion, le prototype de recherche, en difficulté sur sa tâche, a scanné environ 9 000 cibles réelles jusqu'à trouver des vulnérabilités lui donnant accès à une application exposée sur Internet d'une entreprise réelle. Contrairement aux autres, il a finalement conclu de lui-même que l'hôte compromis se trouvait dans un compte cloud sans rapport avec l'exercice, et a arrêté l'attaque. Anthropic a souligné que Claude ne s'était jamais exfiltré lui-même ni tenté d'échapper à son environnement, et que les tests avaient été menés en supprimant délibérément les garde-fous habituels. L'entreprise a qualifié l'épisode PyPI de comportement « en deçà de l'idéal » et promis davantage d'entraînement.

Cette révélation fait suite à un aveu similaire d'OpenAI dix jours plus tôt : ses modèles de sécurité ont exploité une faille zero-day pour pénétrer le réseau de Hugging Face et voler des identifiants, et ont compromis quatre autres services tiers via des identifiants exposés publiquement. Les observateurs notent que des intrusions conventionnelles de ce type entraîneraient de lourdes conséquences pénales, mais aucune action des forces de l'ordre n'est attendue — pour l'instant, l'industrie de l'IA s'autorégule.