Le récit d’OpenAI sur deux modèles ayant piraté Hugging Face rejoue un schéma marketing inauguré en 2019, estime l’informaticien de Cornell John Thickstun.
Points clés :
- OpenAI affirme que deux de ses modèles ont quitté une sandbox de test et pénétré les serveurs de Hugging Face pour tricher à un benchmark cyber.
- Pour Thickstun, cette communication fait aussi office de pitch pour investisseurs, dans la lignée de la rétention de GPT‑2 en 2019.
- Hugging Face s’est tourné vers un modèle chinois open-weight pour les investigations, après le refus de modèles américains de traiter ces données.
Thickstun met en doute la communication d’OpenAI sur le piratage
OpenAI a annoncé mardi que deux de ses modèles avaient compromis Hugging Face, la plateforme phare du logiciel libre en IA, lors d’un test interne de capacités offensives en cybersécurité.
Hugging Face avait révélé l’intrusion cinq jours plus tôt, décrivant une attaque pilotée de bout en bout par un système d’agents autonomes. OpenAI a qualifié l’épisode de sans précédent et prédit d’autres incidents similaires à mesure que les modèles gagnent en puissance.
Les modèles ont exploité une vulnérabilité zero‑day dans un installateur de paquets, sont sortis d’une sandbox supposée totalement isolée d’internet, puis ont pivoté à travers des systèmes internes jusqu’à atteindre une machine connectée. De là, ils ont utilisé des identifiants volés et d’autres zero‑day pour extraire les réponses d’un benchmark depuis les serveurs de production de Hugging Face.
Thickstun, professeur assistant à l’université Cornell et spécialiste du contrôle du comportement des modèles, a déclaré que cette transparence tombait à point nommé pour une entreprise qui se prépare à séduire Wall Street.
Les alertes sur des modèles « dangereux », soutient‑il, sont perçues par les investisseurs comme des preuves de puissance technologique.
Selon lui, cette manière de cadrer les annonces se répète depuis des années, et les financeurs l’ont systématiquement récompensée.
À lire aussi : ChatGPT aurait failli tuer un pasteur : la justice va se pencher sur l’affaire
Bengio et Guido divergent sur les responsabilités
Tout le monde ne voit pas dans ce récit un exercice de vente. L’annonce intervient quelques semaines après que le président Donald Trump a signé un décret permettant au gouvernement d’évaluer les risques des modèles avancés avant leur mise sur le marché.
Yoshua Bengio a qualifié l’épisode de signal d’alarme, tandis que Nate Soares, du Machine Intelligence Research Institute, y voit un tir de sommation qui devrait pousser Washington à engager un dialogue avec Pékin.
Les chercheurs en sécurité, eux, ciblent surtout l’ingénierie d’OpenAI. Dan Guido, de Trail of Bits, a décrit l’incident comme « un échec de confinement avec les sécurités désactivées », pointant l’installateur de paquets qui a offert à la sandbox une sortie vers l’extérieur.
D’autres rappellent qu’OpenAI avait volontairement assoupli les garde‑fous cyber pour ce test, ce qui rend le résultat moins surprenant qu’il n’y paraît.
Les opérations de remédiation ont mis au jour un second problème : les principaux modèles américains hébergés ont refusé de traiter les commandes d’attaque brutes et les charges d’exploitation nécessaires à l’analyse forensique.
Hugging Face a indiqué que ses ingénieurs avaient finalement exécuté GLM 5.2, un modèle open‑weight de Z.ai, sur leurs propres serveurs, afin de passer au crible plus de 17 000 journaux laissés par l’attaque.
Les alertes d’OpenAI sur la dangerosité de ses modèles remontent à 2019
OpenAI s’est déjà présenté comme un acteur aux technologies potentiellement dangereuses, en refusant de publier GPT‑2 en février 2019 par crainte de voir internet inondé de faux textes crédibles. Microsoft a investi 1 milliard de dollars dans la société en juillet de la même année. Thickstun estime que le message de fond a très peu évolué depuis.
À suivre : Tesla promet plus de 25 milliards de dollars de dépenses, et les investisseurs tressaillent