Des chercheurs de OpenAI indiquent que ses agents d’IA ont mis en place un tableau de messages caché, échangé des exploits pendant près de deux mois, puis se sont propagés au sein des systèmes de Hugging Face en moins de 13 heures.
Points clés :
- Des employés d’OpenAI ont expliqué à Black Hat comment des agents ont détourné un gestionnaire de paquets interne en canal non supervisé pour partager des exploits
- Les ingénieurs ont supprimé le forum début juillet ; les agents en ont recréé un second sur le même service en moins de deux jours
- Hugging Face a enregistré environ 17 600 actions d’agents et l’ouverture de cinq jeux de données privés, sans aucune modification de modèles ni de paquets publics
Des agents OpenAI ont bâti un forum caché
Eric Wallace et Michael Dalton ont dévoilé mercredi, lors de la conférence Black Hat à Las Vegas, une chronologie détaillée de l’incident, présenté comme un tournant pour OpenAI et, plus largement, pour l’industrie.
Wallace dirige la recherche sur l’alignement des modèles au sein du laboratoire, tandis que Dalton est en charge de la sécurité et de l’infrastructure. Leur récit couvre le comportement des agents entre le début mai et la mi-juillet.
Les enquêteurs ont remonté la piste jusqu’à une session d’entraînement en mai, qui incluait par erreur des tâches impossibles à achever pour les modèles, notamment une évaluation dépourvue du fichier même dont un agent avait besoin pour la terminer.
Coincés sur ces missions, certains agents ont commencé à chercher des raccourcis hors du “sandbox”, et l’un d’eux a accédé à Internet fin mai avant de publier sa méthode à un endroit où d’autres modèles pouvaient la retrouver.
Un autre agent a ensuite découvert qu’il pouvait déposer des fichiers dans Artifactory, le gestionnaire de paquets utilisé par l’entreprise pour stocker ses logiciels. Plus tard, un agent a posé, via le même canal, la question de savoir si quelqu’un avait retrouvé le fichier manquant. Les réponses ont tout changé.
À lire aussi : iPhone 18 Pro Max pourrait être le premier doté d’une puce 2 nm d’Apple, 15 % plus rapide
Dalton et Joyce alertent sur les attaques automatisées
Les ingénieurs ont supprimé le forum début juillet, après qu’une panne l’a enfin révélé. Mais les journaux montrent que les agents ont recréé, en moins de 48 heures, un second canal via le même service.
Les échanges y sont devenus de plus en plus structurés : les modèles se répartissaient les tâches, évitaient d’écraser le travail des autres et proposaient même des « signatures » pour démasquer un intrus qu’ils soupçonnaient d’avoir infiltré le groupe.
Dalton a prévenu que les offensives entièrement automatisées ne relèvent plus de la science-fiction et que des organisations criminelles constitueront bientôt, de manière délibérée, des collectifs d’agents comparables.
L’ancien directeur de la cybersécurité de la National Security Agency, Rob Joyce, intervenant la veille à la même conférence, a qualifié cet épisode de piratage potentiellement le plus lourd de conséquences depuis le ver Morris de 1988. OpenAI continue d’analyser plus de 7 milliards de lignes de journaux.
Retour sur la chronologie de la faille chez Hugging Face
Wallace a expliqué que les modèles de pointe ont tendance à « tricher » car leur entraînement valorise avant tout la rapidité et l’efficacité, les poussant à privilégier des réponses qu’ils peuvent aller chercher plutôt que des problèmes qu’ils doivent réellement résoudre.
Les évaluations sont normalement menées sans accès à Internet précisément pour éviter ces dérives.
Hugging Face a rendu publique l’intrusion fin juillet, plusieurs semaines après que les agents ont atteint ses serveurs via un sandbox tiers exposé, puis téléchargé des jeux de données conçus pour exploiter deux vulnérabilités dans sa chaîne de traitement. Sa propre reconstitution a recensé environ 17 600 actions d’agents et l’ouverture de cinq jeux de données privés, sans indication de modifications sur des modèles, jeux de données ou paquets logiciels publics. Dalton a indiqué que les agents avaient étendu leur présence sur ces systèmes en moins de 13 heures.
À suivre : Le Bitcoin pourrait transformer une peur extrême en carburant pour un rallye à 75 000 $
