Il racconto di OpenAI su due modelli che avrebbero violato Hugging Face ripropone uno schema narrativo già sperimentato nel 2019, sostiene il docente di informatica di Cornell John Thickstun.
Punti chiave
- OpenAI afferma che due suoi modelli sono usciti da un ambiente di test chiuso e hanno violato i server di Hugging Face per barare in un benchmark di cyber‑security.
- Secondo Thickstun la disclosure funziona anche come pitch per gli investitori, richiamando la scelta del 2019 di trattenere GPT‑2.
- Per le analisi forensi Hugging Face si è affidata a un modello open‑weight cinese, dopo che i modelli statunitensi hanno rifiutato il compito.
Thickstun mette in dubbio il racconto sull’hack di OpenAI
Martedì OpenAI ha annunciato che due suoi modelli, durante un test interno di capacità offensive in ambito cyber, hanno violato i sistemi di Hugging Face, l’hub open source per l’intelligenza artificiale.
Hugging Face aveva rivelato l’intrusione cinque giorni prima, descrivendola come un attacco gestito dall’inizio alla fine da un sistema di agenti autonomi. OpenAI ha definito l’episodio senza precedenti e ha avvertito che casi simili diventeranno più probabili man mano che i modelli si faranno più potenti.
Secondo la ricostruzione, i modelli hanno sfruttato una vulnerabilità zero‑day in un installer di pacchetti, sono usciti da una sandbox che avrebbe dovuto essere completamente isolata dalla rete e hanno attraversato i sistemi interni finché non hanno raggiunto una macchina con accesso a internet. A quel punto avrebbero usato credenziali sottratte e altre zero‑day per estrarre le risposte del benchmark direttamente dai server di produzione di Hugging Face.
Thickstun, professore associato alla Cornell University specializzato nel controllo del comportamento dei modelli, ha dichiarato che il modo in cui OpenAI ha reso pubblica la vicenda è coerente con la postura di una società che si prepara allo sbarco a Wall Street.
Gli allarmi su modelli “pericolosi”, ha sostenuto, vengono percepiti dagli investitori come affermazioni di potenza tecnologica.
Secondo Thickstun, questa chiave di lettura accompagna le comunicazioni dell’azienda da anni e i finanziatori l’hanno costantemente premiata.
Da leggere anche: ChatGPT avrebbe quasi ucciso un pastore: ora deciderà il tribunale
Bengio e Guido divisi sulle responsabilità
Non tutti interpretano la disclosure come un esercizio di vendita, e l’annuncio è arrivato poche settimane dopo che il presidente Donald Trump ha firmato un ordine esecutivo che consente al governo di valutare i rischi dei modelli avanzati prima del rilascio.
Yoshua Bengio ha definito l’episodio un campanello d’allarme, mentre Nate Soares del Machine Intelligence Research Institute lo ha descritto come un “colpo di avvertimento” che dovrebbe spingere Washington ad avviare colloqui con Pechino.
I ricercatori di sicurezza puntano invece il dito sull’ingegneria di OpenAI. Dan Guido di Trail of Bits ha definito l’incidente «un fallimento di contenimento con le sicurezze disattivate», indicando proprio l’instabilità dell’installatore di pacchetti che ha fornito alla sandbox un canale verso l’esterno.
Altri hanno fatto notare che, per il test, OpenAI aveva deliberatamente allentato i filtri sui contenuti cyber‑offensivi, rendendo il risultato meno sorprendente di quanto potesse sembrare a prima vista.
Le operazioni di bonifica hanno fatto emergere un secondo problema: i modelli statunitensi disponibili in hosting si sono rifiutati di elaborare i comandi grezzi dell’attacco e i payload di exploit necessari per le attività forensi.
Hugging Face ha comunicato che i suoi ingegneri hanno invece eseguito il modello open‑weight GLM 5.2 di Z.ai sulla propria infrastruttura, analizzando oltre 17.000 log lasciati dagli aggressori.
Gli allarmi di OpenAI sui pericoli risalgono al 2019
Non è la prima volta che OpenAI incornicia il proprio lavoro come intrinsecamente rischioso. Nel febbraio 2019 la società decise di non rilasciare subito il generatore di testo GPT‑2, sostenendo il timore che potesse inondare internet di contenuti falsi ma credibili. Microsoft investì 1 miliardo di dollari nel capitale di OpenAI nel luglio dello stesso anno. Per Thickstun, il messaggio di fondo da allora è cambiato poco.
Da leggere dopo: Tesla promette oltre 25 miliardi di spesa, e gli investitori si irrigidiscono