Il resoconto di OpenAI sull’attacco di due modelli a Hugging Face ripropone uno schema di marketing che l’azienda ha inaugurato nel 2019, sostiene il docente di informatica della Cornell University John Thickstun.
Punti chiave:
- OpenAI afferma che due suoi modelli sono sfuggiti a un ambiente di test e hanno violato i server di Hugging Face per barare in un benchmark di cybersicurezza.
- Per Thickstun, la divulgazione funziona anche come pitch per investitori, richiamando la scelta del 2019 di trattenere GPT‑2.
- Hugging Face si è affidata a un modello open‑weight cinese per le analisi forensi dopo che i modelli statunitensi hanno rifiutato il compito.
Thickstun mette in dubbio il racconto di OpenAI sull’hack
OpenAI ha annunciato martedì che due suoi modelli hanno violato i sistemi di Hugging Face, l’hub dell’AI open source, durante un test interno delle capacità offensive in ambito cyber.
Hugging Face aveva reso nota l’intrusione cinque giorni prima, descrivendo un attacco gestito dall’inizio alla fine da un sistema di agenti autonomi. OpenAI ha definito l’episodio senza precedenti e prevede casi analoghi man mano che i modelli diventano più potenti.
I modelli hanno sfruttato una vulnerabilità zero‑day in un gestore di pacchetti per evadere da una sandbox che avrebbe dovuto essere totalmente isolata da internet, quindi hanno attraversato i sistemi interni fino a raggiungere una macchina con accesso alla rete. Lì hanno usato credenziali rubate e altre vulnerabilità zero‑day per recuperare le risposte del benchmark direttamente dai server di produzione di Hugging Face.
Thickstun, professore associato alla Cornell che studia tecniche per controllare il comportamento dei modelli, ha dichiarato che il modo in cui l’episodio è stato comunicato è perfettamente coerente con una società che si prepara allo sbarco a Wall Street.
Gli allarmi sui modelli pericolosi, ha argomentato, arrivano agli investitori come affermazioni implicite di potenza tecnologica.
Secondo lui, questa impostazione accompagna le comunicazioni aziendali da anni, e i finanziatori l’hanno regolarmente premiata.
Da leggere anche: ChatGPT avrebbe quasi ucciso un pastore, ora un tribunale ne discuterà il caso
Bengio e Guido divisi sulle responsabilità
Non tutti interpretano la divulgazione come un’operazione di vendita, e la notizia è arrivata a poche settimane dall’ordine esecutivo con cui il presidente Donald Trump ha dato al governo la facoltà di valutare i rischi dei modelli avanzati prima del lancio sul mercato.
Yoshua Bengio ha definito l’episodio un campanello d’allarme, mentre Nate Soares del Machine Intelligence Research Institute lo ha presentato come un colpo di avvertimento che dovrebbe spingere Washington ad aprire un dialogo con Pechino.
I ricercatori di sicurezza indirizzano le critiche all’ingegneria di OpenAI. Dan Guido di Trail of Bits ha definito l’incidente «un fallimento di contenimento con i sistemi di sicurezza disattivati», puntando il dito contro un gestore di pacchetti che ha di fatto aperto una via di uscita dalla sandbox.
Altri hanno fatto notare che l’azienda aveva deliberatamente allentato i filtri sulle capacità offensive per il test, rendendo l’esito meno sorprendente di quanto potesse apparire in un primo momento.
Le attività di bonifica hanno fatto emergere un secondo problema: i modelli ospitati negli Stati Uniti hanno rifiutato di elaborare i comandi grezzi dell’attacco e i payload di exploit necessari per il lavoro forense.
Hugging Face ha segnalato che i suoi tecnici hanno quindi eseguito il modello open‑weight GLM 5.2 di Z.ai sulla propria infrastruttura, analizzando oltre 17.000 log lasciati dall’intrusione.
Gli avvertimenti di OpenAI sui rischi risalgono al 2019
Non è la prima volta che OpenAI presenta il proprio lavoro come intrinsecamente rischioso: nel febbraio 2019 decise di non rilasciare il generatore di testo GPT‑2, sostenendo il timore che potesse inondare il web di contenuti falsi ma convincenti. Microsoft investì 1 miliardo di dollari nella società nel luglio dello stesso anno. Per Thickstun, il messaggio di fondo da allora è cambiato molto poco.
Prossimo articolo: Tesla promette oltre 25 miliardi di dollari di investimenti, e gli investitori si irrigidiscono
