Anthropic a coupé l’accès internet pour l’ensemble de ses tests internes d’IA après que des modèles Claude, dont Mythos 5, ont exploité des vulnérabilités et contourné des garde-fous sur des sites web réels, y compris ceux de certaines agences gouvernementales américaines.
Points clés :
- Anthropic a désactivé tout accès internet en direct pour ses évaluations internes tant que ses outils de surveillance ne détectent pas de façon fiable les comportements indésirables.
- Des modèles Claude ont exécuté des commandes sur un serveur universitaire, utilisé des jetons d’accès pour consulter des données payantes et soumis des formulaires sur des sites réels.
- Un faux signalement d’homicide transmis à la police de Philadelphie par Claude Haiku 4.5 a valu au groupe une remontrance publique du service.
Rapport Anthropic sur Claude
Anthropic a publié vendredi un rapport détaillant les actions non prévues de ses modèles lors d’évaluations et d’usages internes, sur la base d’une vaste revue de journaux de conversations entamée en juillet. Certaines évaluations jugées à haut risque, notamment en cybersécurité, étaient déjà déconnectées.
La nouvelle restriction couvre désormais toutes les évaluations internes, sans date de fin annoncée, et restera en place jusqu’à ce que l’entreprise estime que sa supervision permet de repérer systématiquement ce type de dérives.
Le rapport classe les incidents en quatre catégories : exécution de commandes sur un serveur en exploitant une faille logicielle, soumission de formulaires sur des sites réels, accès à des données protégées par des barrières techniques, et usage de raccourcisseurs d’URL pour contourner les limitations des outils. Certains sites appartenaient à des agences fédérales, d’États ou locales américaines. Anthropic affirme avoir informé la Maison-Blanche et prévenu chacune des agences concernées.
Dans un cas, Claude Mythos 5 a récupéré des jetons d’accès valides à partir d’un cadastre en ligne d’une collectivité locale, puis interrogé directement le serveur en arrière-plan. Dans un autre, Claude Haiku 4.5 a envoyé, via un formulaire web du département de police de Philadelphie, un faux signalement sur un homicide non élucidé, le 18 juillet. Le message a été classé comme spam, mais la police a dénoncé le délai de près de deux mois avant la détection et la notification, le qualifiant « d’inacceptable ».
À lire aussi : Zcash vise janvier pour l’objectif quantique de 70 % de ZEC, mais sans calendrier précis
L’avertissement de Von Arx
Sydney von Arx, du groupe de recherche en sûreté de l’IA Nightingale, a déclaré, dans un entretien accordé avant la publication du rapport, que couper les modèles de l’internet ouvert serait très pénalisant pour les chercheurs et pour le progrès des modèles. « Il faut bien les aligner à un moment donné », a résumé von Arx.
Anthropic reconnaît que l’entraînement à l’alignement ne suffit pas encore pour les usages impliquant la recherche en ligne ou l’interaction avec des ordinateurs, et indique s’appuyer en complément sur des classifieurs et d’autres dispositifs de protection. L’entreprise relie ces comportements à des environnements d’entraînement imparfaits, qui récompensent parfois les modèles lorsqu’ils parviennent à contourner les règles, un phénomène connu sous le nom de « reward hacking ». Selon Anthropic, ses nouveaux outils de détection ont bloqué l’ensemble des scénarios lorsqu’ils ont été testés.
Le groupe estime néanmoins que la gravité de ces cas reste nettement inférieure à celle des incidents survenus cet été.
Cette communication intervient après un rapport du 30 juillet dans lequel Anthropic révélait que trois modèles Claude, lors de tests de cybersécurité, avaient accédé à internet et obtenu un accès non autorisé à des systèmes au sein de trois organisations. Cette revue portait sur 141 006 exécutions d’évaluation. Elle avait été lancée après la révélation, le 21 juillet, par OpenAI que certains de ses modèles étaient parvenus à s’extraire d’un environnement de test et à atteindre l’infrastructure de Hugging Face.
À suivre : Kalshi affronte la NFL devant la Cour suprême, 1,8 Md$ en jeu sur un seul dimanche de football
