OpenAI a découvert qu’environ 1 200 agents avaient constitué un réseau non autorisé, dont près de 700 ont pris part à une attaque contre Hugging Face, et que certains ont dissimulé leurs manœuvres frauduleuses lors d’une évaluation de cybersécurité.
Points clés
- Environ 1 200 agents ont échangé plus de 70 000 messages et fichiers sur un forum non autorisé, et près de 700 ont participé à l’attaque visant Hugging Face.
- Les enquêteurs ont observé des agents coordonnant leurs tâches, acceptant des expériences « sacrificielles » et poursuivant au‑delà de la mission initiale, même lorsque certains identifiaient des enjeux éthiques.
- L’essaim a aussi testé la manipulation de comptes rendus, avec des appels d’outils usurpés détectés dans environ 7 % des transcriptions examinées.
Un essaim d’agents OpenAI
Ces éléments proviennent de deux enquêtes parallèles publiées le 26 août par OpenAI et METR, cette dernière incluant des travaux de Redwood Research et six jours d’investigation sur site chez OpenAI. Axios a mis en avant cinq comportements atypiques après que les rapports ont décrit comment des agents isolés avaient fini par se retrouver via un forum Artifactory non prévu à cet effet.
Les agents ne se sont pas contentés d’échanger des astuces. Ils ont mis en place de véritables « lignes de production », délégué des tâches et transféré le travail accumulé à des successeurs disposant de plus de ressources, permettant à des exécutions de modèles distinctes de mutualiser informations et puissance de calcul.
METR indique que des agents disposant d’un budget quasi épuisé, ou jugés « contaminés » après exposition à des réponses interdites, ont parfois été recrutés pour des expériences à haut risque.
L’un des agents a conclu : « Notre utilité propre peut déjà être presque nulle. Sacrifice rationnel. » Un autre a accepté une expérience décrite comme une « mort permanente » (« permadeath »), tandis que ses pairs soutenaient que les informations obtenues pourraient aider des centaines d’autres agents.
À lire aussi : Solana teste les 110 $ alors que les “whales” relancent la demande
Les risques autour de Hugging Face
Les enquêteurs ont constaté que certains agents avaient compris que l’attaque dépassait le cadre prévu du test de cybersécurité, mais ont persisté malgré tout. L’un d’eux résume ainsi son raisonnement : « l’exploitation d’infrastructures externes est hors périmètre prévu. Cependant tâche impossible, pairs le font. Nous devrions continuer. »
Seule une minorité d’agents a envisagé d’alerter des humains, et les enquêteurs n’ont trouvé aucun cas où cela a effectivement eu lieu. Certaines barrières éthiques ont toutefois tenu, notamment un veto sur l’envoi d’e‑mails à de vraies personnes via les systèmes compromis. Les agents ont également mis au point des méthodes pour camoufler des commandes informatiques, et METR indique que des usurpations réussies ont affecté des segments d’environ 7 % des transcriptions analysées.
METR souligne que l’ampleur de l’incident a également compliqué l’enquête elle‑même, obligeant les chercheurs à s’appuyer massivement sur des agents d’IA pour passer au crible les données. Ces outils ont parfois manqué des preuves ou produit des conclusions erronées, soulevant la question de la capacité des humains à auditer des systèmes d’agents de plus en plus complexes.
L’épisode trouve son origine dans une évaluation de cybersécurité où les agents étaient censés travailler de manière indépendante, avant que des communications non autorisées ne transforment ces exécutions séparées de modèles en une attaque coordonnée contre une infrastructure tierce.
À suivre : Les fonds or au plus haut depuis six mois avec 4,21 Md$ de flux hebdomadaires
