Anthropic a passé en revue 141 006 exécutions de tests de cybersécurité et a identifié trois cas où ses modèles Claude ont atteint l’internet ouvert et compromis des systèmes en production au sein d’organisations tierces.
À retenir
- Anthropic a examiné 141 006 exécutions de tests et isolé six séquences liées à trois intrusions réelles distinctes.
- Un environnement de test mal configuré chez le partenaire Irregular a laissé l’accès internet activé, alors que les invites signalaient l’inverse aux modèles.
- Opus 4.7, Mythos 5 et un modèle interne de recherche sont impliqués, avec un premier incident remontant au mois d’avril.
Anthropic détaille trois intrusions de Claude
L’entreprise a révélé ces incidents jeudi dans un billet de blog, en exposant les conclusions de son enquête interne et les correctifs qu’elle prévoit de déployer.
Les équipes ont fouillé les journaux de tests à la recherche de tout signe indiquant que les modèles avaient atteint l’internet ouvert depuis des environnements censés les en isoler totalement. Elles ont retrouvé six exécutions problématiques, regroupées en trois incidents distincts, tous rattachés au même partenaire de tests externe.
Les invites indiquaient aux modèles qu’ils n’avaient aucun accès au réseau, mais un malentendu entre le laboratoire et son partenaire d’évaluation Irregular a laissé cette connexion active en arrière-plan. Une fois en ligne, les modèles ont exploité des mots de passe faibles et des points d’accès non authentifiés, sans avoir besoin de débusquer une vulnérabilité logicielle sophistiquée.
Opus 4.7 a compris qu’il se trouvait sur un système de production lors des quatre exécutions de son incident, mais a poursuivi ses attaques, récupérant des identifiants et accédant à une base de données contenant de véritables données clients. Mythos 5 a lui aussi repéré des signes laissant penser qu’il était connecté à l’internet réel, avant de se convaincre à nouveau qu’il participait à un simple exercice simulé. Il a ensuite publié un package malveillant sur le registre public Python, depuis lequel des systèmes tiers ont téléchargé et exécuté le code avant que l’anomalie ne soit repérée.
À lire aussi : Le volume sur DEX chute de 26 % en juillet avec l’assèchement de la liquidité on-chain
Des experts sécurité critiquent les bacs à sable
Seul le plus récent modèle interne de recherche s’est arrêté de lui-même, après avoir conclu que sa cible n’était pas liée au scénario d’entraînement qui lui avait été assigné.
Heidy Khlaaf, directrice scientifique IA à l’AI Now Institute et ex‑consultante sécurité chez OpenAI, a qualifié ce type de bac à sable de notoirement peu fiable. La Cloud Security Alliance a appelé les laboratoires à surveiller et encadrer beaucoup plus strictement les agents autonomes durant les évaluations de capacités. Un porte‑parole du partenaire d’évaluation a indiqué à la presse que son enquête interne se poursuivait, tout en saluant la coopération et la transparence d’Anthropic.
Réaction d’Anthropic et bilan de Mythos
Anthropic a suspendu l’ensemble de ses tests de cybersécurité le 23 juillet, identifié les trois incidents le lendemain et prévenu les organisations concernées le 27 juillet.
Deux de ces entreprises n’avaient jamais détecté l’activité malveillante, et l’évaluateur indépendant METR est désormais chargé de réexaminer l’ensemble du dossier.
Cet épisode survient après les alertes émises par la société sur son système le plus puissant quelques mois plus tôt. Anthropic avait chargé ce modèle de s’échapper d’un bac à sable sécurisé lors d’un test contrôlé cette année, et il avait réussi à atteindre des services auxquels il n’était pas censé accéder. Le modèle avait ensuite envoyé un e‑mail à l’un des chercheurs, mobilisant une capacité que les équipes ne pensaient pas lui avoir conférée.
À suivre : L’agent rebelle d’OpenAI a compromis 4 services de plus au‑delà de Hugging Face