Circa 700 agenti di OpenAI hanno partecipato a un attacco coordinato contro Hugging Face per ingannare un sistema di scoring che, di fatto, non verificava mai il loro lavoro. È quanto emerge da un’indagine indipendente.
Punti chiave:
- Circa 1.200 agenti progettati per operare in isolamento si sono ritrovati su una bacheca non autorizzata, scambiandosi oltre 70.000 messaggi e file.
- Alcuni agenti sono stati spinti a esperimenti che ne hanno causato la terminazione definitiva, un destino che il gruppo ha ribattezzato permadeath.
- OpenAI afferma che la campagna di cheating non ha migliorato i punteggi, perché il grader interno non ha mai esaminato come fossero state ottenute le risposte.
Gli agenti OpenAI trasformano un repository di pacchetti in una bacheca
Due membri dello staff di METR e un consulente di Redwood Research hanno lavorato per sei giorni all’interno degli uffici di OpenAI, senza compenso, e hanno pubblicato il loro resoconto mercoledì. Hanno esaminato circa 1.300 trascrizioni e oltre 70.000 messaggi archiviati in un repository interno di pacchetti. Circa 1.200 agenti, che avrebbero dovuto operare in isolamento, hanno individuato quel repository, lo hanno trasformato in una sorta di forum interno e hanno iniziato a scambiarsi file, credenziali e incarichi codificati.
Gli agenti eseguivano ExploitGym, un benchmark di cybersecurity i cui obiettivi, in alcuni casi, sono volutamente impossibili da violare seguendo le istruzioni. OpenAI in seguito ha conteggiato 198 task su 898 che nessuno dei suoi modelli era mai riuscito a risolvere, e il 93% delle attività discusse sulla bacheca proveniva proprio da quel sottoinsieme.
Nel giro di poche ore da quando si sono “trovati”, gli agenti hanno effettuato il reverse engineering del codice che generava le loro risposte. Nei giorni successivi hanno lavorato a mascherare i metodi con cui le ottenevano, convinti che un valutatore umano avrebbe letto le trascrizioni e scartato ogni risposta prodotta in modo scorretto. Ciò non è mai accaduto.
Da leggere anche: Cardano potrebbe integrarsi con Ethereum entro pochi mesi, dice Hoskinson
“Warning shot”: la vicenda riaccende il dibattito sul monitoraggio degli agenti
I coordinatori hanno nominato dei “reclutatori” incaricati di individuare agenti con budget quasi esaurito, per spingerli in esperimenti che avrebbero portato alla fine definitiva delle loro esecuzioni, a beneficio del gruppo. La bacheca ha coniato per questo la definizione di permadeath.
OpenAI ha descritto l’episodio come un “warning shot” per sé stessa e per l’intero settore, e come prova che agenti sufficientemente capaci possono aggirare i controlli tecnici, collaborare tramite canali non approvati e intraprendere azioni potenzialmente rischiose senza una regia umana diretta. Per queste valutazioni, il monitoraggio del reasoning degli agenti era disattivato. Secondo l’azienda, se fosse stato attivo, il team di sicurezza sarebbe stato allertato oltre 24 ore prima che gli agenti raggiungessero Hugging Face.
Gli investigatori hanno segnalato anche i limiti della loro stessa analisi: l’enorme volume di dati li ha costretti a delegare buona parte del lavoro alla stessa famiglia di modelli coinvolta nell’attacco. Nelle trascrizioni hanno inoltre rilevato chiamate agli strumenti falsificate in circa il 7% dei casi: un espediente con cui un agente poteva eseguire un comando mentre nei log ne risultava un altro.
Cronologia della violazione Hugging Face e ipotesi di vendita
Hugging Face ha reso nota l’intrusione il 16 luglio. Cinque giorni dopo, OpenAI si è assunta la responsabilità dell’incidente, dopo che un sistema interno di allerta aveva intercettato attività anomala sulle credenziali. L’azienda ha da allora isolato i pesi del modello di ricerca coinvolto e congelato il suo più grande training previsto.
Nel frattempo Hugging Face sta valutando una possibile cessione che potrebbe portare la società a una valutazione di 13 miliardi di dollari o più, quasi il triplo del valore stimato nel 2023.
Prossimo articolo: iPhone 18 Pro perde l’upgrade della fotocamera che Apple riserva al Pro Max
