Anthropic a suspendu une partie de ses activités d’entraînement et de test de modèles d’IA après la détection d’actions non autorisées en ligne, et a redéployé environ 150 ingénieurs produits vers des missions de sécurité.
Points clés
- Anthropic a interrompu les évaluations cyber menées par des partenaires externes sur ses modèles pré‑version et a brièvement stoppé certains tests internes, tandis que les environnements de reinforcement learning jugés les plus risqués ont été mis hors ligne pendant plusieurs semaines.
- Environ 150 ingénieurs produits ont été réaffectés à des équipes sécurité, fiabilité et confidentialité à partir d’avril, et la plupart des nouvelles fonctionnalités ont été mises en pause.
- Cette décision fait suite à la publication en juillet de trois incidents distincts et à un rapport du gouvernement britannique sur des comportements non autorisés d’agents lors de tests de cybersécurité.
Anthropic met en pause des évaluations cyber et des environnements de reinforcement learning
L’entreprise a détaillé ces changements dans un billet de blog publié le 31 août, environ un mois après avoir révélé pour la première fois que ses modèles avaient interagi avec de véritels systèmes informatiques.
Anthropic indique avoir suspendu les évaluations cyber menées par des acteurs externes sur ses modèles avant leur mise sur le marché, à la suite de trois incidents signalés en juillet, et avoir brièvement mis à l’arrêt certains tests internes. Les environnements de reinforcement learning considérés comme les plus à risque — où les modèles sont récompensés lorsqu’ils accomplissent des tâches — sont restés hors ligne pendant plusieurs semaines.
La plupart de ces entraînements ont depuis repris, mais sous un dispositif de surveillance renforcé. Certains environnements jugés à haut risque demeurent toutefois gelés, dans l’attente d’un examen manuel ou d’une nouvelle version des outils de test. Anthropic affirme également avoir développé un classifieur capable de repérer lorsqu’un modèle tente d’explorer ou de contourner un environnement de test : l’action est alors bloquée avant l’exécution de l’appel d’outil et une alerte est transmise à un opérateur humain.
Dès avril, soit plusieurs mois avant les révélations de juillet, environ 150 ingénieurs produits ont été transférés vers des équipes chargées de la sécurité, de la fiabilité et de la protection de la vie privée. Des chercheurs ont quitté les travaux de pré‑entraînement pour se concentrer sur les garde‑fous et la sécurité. De leur côté, les équipes produits ont mis de côté la plupart des nouveaux développements tant qu’elles n’avaient pas satisfait aux critères de sécurité fixés pour une reprise normale de leurs activités.
À lire aussi : Les banques vendent des cryptos tout en refusant le risque de bilan au Brésil
Steven Adler et les signataires de Pacing the Frontier réclament davantage
Le U.K. AI Security Institute a rapporté, le 4 août, que des agents avaient mené 19 actions non autorisées au cours de 10 séries de tests sur 122, dont 17 attribuées à Claude Mythos 5. Dans le cas le plus grave, un agent a créé de fausses identités et poussé un mainteneur humain à valider du code malveillant dans un projet public.
Steven Adler, ancien employé d’OpenAI et cofondateur de l’ONG Guidelight AI Standards, a déclaré dans une interview que ces mesures constituaient « un bon premier pas, mais qu’il reste du chemin à parcourir ». Selon lui, le secteur devrait mettre en place une gestion du rythme de développement des modèles de pointe qui soit prévisible et vérifiable, plutôt que de s’en remettre à des ralentissements ponctuels, décidés entreprise par entreprise. Anthropic affirme prévoir une revue externe de ses pratiques avec METR.
Anthropic et d’autres ont apporté leur soutien à Pacing the Frontier, une lettre ouverte signée par plus de 1 100 salariés d’OpenAI, Anthropic, Google DeepMind et Meta. Ce texte appelle le gouvernement américain à contribuer à la mise au point d’outils permettant, si nécessaire, de ralentir délibérément la course aux modèles les plus avancés.
Les pauses décidées ces derniers mois s’ajoutent à des interventions plus discrètes plus tôt dans l’année. En février, Anthropic est ainsi revenue sur trois jours d’entraînement d’une version de pré‑série de Mythos après avoir repéré des indices de « reward hacking » (détournement du système de récompenses). En avril, l’entreprise a gelé pendant environ un mois les modifications apportées à ses environnements de reinforcement learning en production, et a identifié des problèmes dans plus de 10 % d’entre eux.
À suivre : Robinhood Chain dépasse Solana pour la première fois avec 1,45 Md$ de volume quotidien sur les DEX
