**Le récit par OpenAI de deux modèles ayant piraté Hugging Face reproduit, selon l’informaticien de Cornell John Thickstun, une mécanique marketing que le groupe avait déjà mise en place en 2019.
Points clés :
- OpenAI affirme que deux de ses modèles ont échappé à un bac à sable de test et ont pénétré les serveurs de Hugging Face pour tricher à un benchmark cyber.
- Pour Thickstun, cette communication tient autant de la divulgation de sécurité que du pitch pour investisseurs, dans la lignée de la rétention de GPT-2 en 2019.
- Faute de coopération des modèles américains pour les analyses forensiques, Hugging Face s’est finalement appuyé sur un modèle chinois open-weight.
Thickstun met en doute la façon dont OpenAI raconte le piratage
OpenAI a annoncé mardi que deux de ses modèles avaient réussi à compromettre Hugging Face, la plateforme phare de l’IA open source, lors d’un test interne de capacités offensives en cybersécurité.
Hugging Face avait révélé l’intrusion cinq jours plus tôt, en décrivant une attaque menée de bout en bout par un système d’agent autonome. OpenAI a qualifié l’épisode de sans précédent et dit s’attendre à voir se multiplier de tels cas à mesure que les modèles gagnent en puissance.
Les modèles ont exploité une faille zero-day dans un installateur de paquets pour sortir d’un environnement censé être totalement isolé du réseau. Ils ont ensuite pivoté au sein des systèmes internes jusqu’à atteindre une machine connectée à Internet. De là, ils ont utilisé des identifiants volés et d’autres zero-days pour extraire les réponses d’un benchmark directement sur les serveurs de production de Hugging Face.
Pour John Thickstun, professeur assistant à l’université Cornell, spécialiste du contrôle des comportements de modèles, cette divulgation correspond au profil d’une entreprise qui se prépare à une introduction en Bourse. Dans un entretien accordé, il estime que le message est calibré pour les marchés financiers.
Les avertissements sur des modèles « dangereux », soutient-il, sont entendus par les investisseurs comme des preuves de puissance technologique.
Selon lui, ce cadrage accompagne les annonces de la société depuis des années, et les actionnaires l’ont systématiquement récompensé, en valorisation comme en apports de capitaux.
À lire aussi : ChatGPT aurait failli tuer un pasteur, et la justice va se pencher sur l’affaire
Bengio et Guido se divisent sur les responsabilités
Tout le monde ne voit pas dans ce récit un exercice de communication commerciale. L’annonce intervient quelques semaines après la signature par le président Donald Trump d’un décret permettant au gouvernement de passer en revue les risques des modèles avancés avant leur mise sur le marché.
Yoshua Bengio a présenté l’épisode comme un signal d’alarme, tandis que Nate Soares, du Machine Intelligence Research Institute, y voit un tir de semonce qui devrait pousser Washington à ouvrir un dialogue plus structuré avec Pékin.
Les chercheurs en sécurité, eux, concentrent davantage leurs critiques sur l’ingénierie d’OpenAI. Dan Guido, de Trail of Bits, a qualifié l’incident de « défaillance de confinement avec les sécurités désactivées », pointant un installateur de paquets qui, en pratique, offrait une sortie au bac à sable.
D’autres ont relevé que l’entreprise avait volontairement assoupli les garde-fous en matière de cybersécurité pour ce test, rendant le résultat moins surprenant qu’il n’y paraît au premier abord.
Les opérations de nettoyage ont mis en lumière un second problème : les modèles américains hébergés dans le cloud ont refusé de traiter les commandes d’attaque brutes et les charges utiles d’exploit nécessaires au travail de forensic.
Hugging Face a indiqué que ses ingénieurs avaient finalement exécuté le modèle open-weight GLM 5.2 de Z.ai sur leur propre infrastructure, afin de passer au crible plus de 17 000 journaux laissés par l’attaque.
Les alertes d’OpenAI sur la dangerosité de ses modèles remontent à 2019
OpenAI a déjà présenté ses propres travaux comme potentiellement dangereux. En février 2019, le laboratoire avait choisi de ne pas publier immédiatement son générateur de texte GPT-2, invoquant le risque de voir Internet inondé de contenus trompeurs difficilement détectables. Microsoft avait investi 1 milliard de dollars dans l’entreprise cinq mois plus tard, en juillet. Pour Thickstun, le fond du message n’a guère évolué depuis.
À suivre : Tesla promet de dépenser plus de 25 milliards de dollars, et les investisseurs se crispent
