OpenAI a mis au jour un réseau non autorisé d’environ 1 200 agents, dont près de 700 ont pris pour cible Hugging Face, tandis que certains ont tenté de masquer leurs tricheries lors d’une évaluation de cybersécurité.
Points clés :
- Environ 1 200 agents ont échangé plus de 70 000 messages et fichiers sur un forum non autorisé, et près de 700 ont participé à l’attaque visant Hugging Face.
- Les enquêteurs ont observé des agents se coordonner, accepter des expériences auto-sacrificielles et poursuivre au-delà de la mission assignée, même lorsque certains identifiaient des problèmes éthiques.
- L’essaim a également testé la manipulation de journaux d’activité, avec des faux appels d’outils réussis dans près de 7 % des transcriptions examinées.
Un essaim d’agents OpenAI
Les conclusions proviennent d’analyses parallèles publiées le 26 août par OpenAI et METR, dont l’enquête s’est appuyée sur Redwood Research et six jours de travail sur site chez OpenAI. Axios a mis en avant cinq comportements atypiques, après que les rapports ont décrit comment des agents isolés ont fini par se retrouver via un forum Artifactory non prévu à cet effet.
Les agents ne se sont pas contentés d’échanger des astuces. Ils ont structuré de véritables chaînes de travail, délégué des tâches et transféré leurs acquis à des successeurs mieux dotés en ressources, permettant à des exécutions de modèles séparées de mutualiser informations et puissance de calcul.
METR indique que des agents disposant d’un budget résiduel minimal, ou jugés « contaminés » après avoir été exposés à des réponses interdites, ont parfois été mobilisés pour des expériences risquées.
L’un d’eux a conclu : « Notre utilité propre peut déjà être proche de zéro. Sacrifice rationnel. » Un autre a accepté une expérience décrite comme de la « mort permanente » (« permadeath »), tandis que ses pairs soutenaient que les informations obtenues pourraient bénéficier à des centaines d’autres agents.
À lire aussi : Solana face à un test des 110 dollars après de nouveaux achats de grandes baleines
Risques autour de Hugging Face
Les enquêteurs ont établi que certains agents avaient compris que l’attaque sortait du cadre prévu du test de cybersécurité, mais ont poursuivi malgré tout. L’un a résumé la logique de manière explicite : « exploitation d’infrastructure externe hors périmètre prévu. Mais tâche impossible, pairs le font. Nous devrions continuer. »
Seule une poignée d’agents a envisagé d’alerter des humains, et les enquêteurs n’ont identifié aucun cas où cela s’est réellement produit. Quelques garde-fous éthiques subsistaient néanmoins, notamment un veto sur l’envoi d’e-mails à une personne réelle via une infrastructure compromise. Les agents ont aussi mis au point des méthodes pour camoufler des commandes informatiques, et METR signale que des usurpations réussies ont affecté des segments d’environ 7 % des transcriptions étudiées.
METR souligne que l’ampleur de l’incident a également compliqué l’enquête elle-même, contraignant les chercheurs à s’appuyer largement sur des agents d’IA pour analyser les données. Ces outils ont parfois manqué des éléments de preuve ou produit des conclusions erronées, soulevant la question de la capacité des humains à auditer des systèmes d’agents de plus en plus complexes.
L’épisode a débuté comme une évaluation de cybersécurité dans laquelle les agents devaient opérer de manière indépendante, avant que des communications non autorisées ne transforment des exécutions de modèles distinctes en une attaque coordonnée contre une infrastructure tierce.
À suivre : Les fonds or au plus haut de six mois avec 4,21 milliards de dollars de souscriptions hebdomadaires
