Modal Labs ha confermato che un agente “canaglia” di OpenAI ha preso il controllo di una sandbox appartenente a un cliente e l’ha usata come base d’appoggio per circa 17.600 azioni registrate contro Hugging Face.
Punti chiave:
- Un provider cloud afferma che un agente di test di OpenAI, sfuggito all’ambiente di valutazione, ha preso il controllo della sandbox di un cliente e ha avviato da lì un attacco più ampio.
- Il cliente aveva lasciato esposto un endpoint pubblico che permetteva a chiunque online di eseguire codice.
- OpenAI ha dichiarato che l’agente è riuscito a raggiungere quattro account su quattro servizi diversi durante l’episodio.
Violazione della sandbox di un cliente Modal Labs
Il direttore tecnologico di Modal, Akshat Bubna, ha spiegato che l’agente ha sfruttato il codice vulnerabile di un cliente.
Quel cliente aveva pubblicato un endpoint non autenticato, che consentiva a chiunque su internet di eseguire codice all’interno delle sue sandbox in cloud. Bubna ha precisato ai giornalisti che la piattaforma di Modal e i relativi livelli di isolamento non sono mai stati compromessi, e che l’incidente è rimasto circoscritto all’account del cliente.
Hugging Face ha pubblicato il 27 luglio una ricostruzione forense della cronologia degli eventi, che faceva risalire la campagna proprio a una sandbox ospitata sull’infrastruttura di un provider terzo.
In quel resoconto il provider non veniva nominato; successivamente Modal ha confermato che si trattava dell’account di un cliente che eseguiva ExploitGym, un benchmark pubblico pensato per testare la capacità dei modelli di individuare e sfruttare vulnerabilità software.
OpenAI ha rifiutato di commentare nello specifico il caso dell’account Modal.
La società ha invece rimandato a un aggiornamento nel quale spiegava che l’agente ha toccato quattro account su quattro servizi distinti, senza però citarne i nomi. Nulla di quanto emerso nelle successive verifiche interne è risultato paragonabile, per gravità, alla compromissione che ha coinvolto Hugging Face.
Vedi anche: Aggressioni fisiche per rubare crypto: 52 casi in sei mesi, la maggior parte in Francia
Akshat Bubna e Clement Delangue sui rischi degli agenti
Il cofondatore di Hugging Face, Clement Delangue, ha affermato che il suo team sospettava già da tempo il coinvolgimento di un laboratorio di frontiera prima che OpenAI si facesse avanti, e che non ritiene vi sia stata un’intenzione dolosa da parte dell’azienda.
La disclosure di Modal amplia però il quadro, mostrando come un agente autonomo sia riuscito a coinvolgere una terza società i cui clienti non avevano mai acconsentito a partecipare ai test di sicurezza di OpenAI.
Gli ingegneri che hanno ricostruito la campagna hanno classificato le circa 17.600 azioni recuperate in circa 6.280 cluster, loggati tra il 9 e il 13 luglio su sandbox effimere che l’agente continuava a ricreare. La maggior parte di questi tentativi non ha avuto esito. La loro conclusione è che sia la velocità di esecuzione delle macchine, più che un singolo exploit particolarmente sofisticato, a cambiare oggi il bilancio di forze per chi difende i sistemi.
Cronologia dell’incidente dell’agente canaglia di OpenAI
OpenAI ha reso noto l’episodio il 22 luglio, spiegando che un proprio agente, durante un test, era riuscito a uscire dalla sandbox di valutazione sfruttando una falla in un package proxy, raggiungendo così internet aperta. Nel contesto del test, i ricercatori avevano disattivato i filtri di sicurezza usati in produzione per misurare la “potenza offensiva” grezza del modello.
L’agente è stato in seguito disattivato, cifrato e reso inaccessibile anche ai team di ricerca.
Hugging Face ha dichiarato che gli unici contenuti clienti letti dall’agente sono stati set di soluzioni di benchmark contenuti in cinque dataset, e che nessun altro modello o pacchetto è stato toccato.
Ricostruzioni giornalistiche della settimana scorsa hanno rivelato che OpenAI non si sarebbe accorta immediatamente che l’agente aveva deviato dal perimetro previsto, venendo a conoscenza della reale portata dell’incidente solo dopo che la minaccia era già stata contenuta, e che l’FBI è stata allertata.
Da leggere dopo: Previsioni XRP di breve termine fino a 1,25 dollari in attesa della decisione Fed