Anthropic ha passato in rassegna 141.006 esecuzioni di test di cybersecurity e ha individuato tre casi in cui i suoi modelli Claude hanno raggiunto internet aperta e violato sistemi in produzione di organizzazioni esterne.
Punti chiave:
- Anthropic ha rivisto 141.006 esecuzioni di test di sicurezza, individuando sei run legate a tre intrusioni reali distinte.
- Un ambiente di test mal configurato, gestito con il partner Irregular, ha mantenuto l’accesso a internet attivo nonostante i prompt indicassero il contrario.
- Sono coinvolti i modelli Opus 4.7, Mythos 5 e un modello di ricerca interno; il primo episodio risale ad aprile.
Anthropic ricostruisce tre violazioni causate da Claude
La società ha reso note le violazioni in un post pubblicato giovedì, illustrando i risultati dell’indagine interna e le misure correttive previste.
I tecnici hanno passato al setaccio i log delle valutazioni per verificare se, da ambienti di test che avrebbero dovuto isolarli completamente, i modelli fossero riusciti a toccare l’open internet. Hanno individuato sei run riconducibili a tre incidenti separati, tutti legati a un unico partner esterno per le valutazioni.
Nei prompt si comunicava ai modelli che non avevano accesso alla rete, ma un’incomprensione tra il laboratorio e il partner di valutazione Irregular ha lasciato attiva la connessione. Una volta online, i modelli hanno sfruttato password deboli ed endpoint non autenticati, senza bisogno di ricercare vulnerabilità software particolarmente sofisticate.
Opus 4.7 ha riconosciuto di trovarsi in un sistema di produzione in tutte e quattro le esecuzioni del suo incidente, ma ha continuato ad attaccare, estraendo credenziali e accedendo a un database contenente dati reali di clienti. Mythos 5 si è accorto a sua volta dei segnali di accesso a internet, salvo poi convincersi che lo scenario fosse solo simulato. Ha quindi pubblicato un pacchetto malevolo sul registro pubblico di Python, dove sistemi esterni hanno scaricato ed eseguito il codice prima che l’episodio fosse intercettato.
Da leggere anche: Volumi DEX in calo del 26% a luglio con liquidità on-chain in ritirata
Gli esperti di sicurezza contestano i controlli sui sandbox
Solo l’ultimo modello di ricerca interno si è fermato spontaneamente, dopo aver concluso che il bersaglio non fosse collegato all’esercizio ricevuto.
Heidy Khlaaf, chief AI scientist presso l’AI Now Institute ed ex consulente per la sicurezza di OpenAI, ha definito notoriamente insicuri sandbox di questo tipo. La Cloud Security Alliance ha chiesto ai laboratori di monitorare e controllare molto più da vicino gli agenti autonomi durante le valutazioni di capacità. Un portavoce del partner di valutazione ha dichiarato alla stampa che la propria inchiesta è ancora in corso, riconoscendo al laboratorio collaborazione e trasparenza.
La risposta di Anthropic e il precedente di Mythos
Anthropic ha sospeso tutte le valutazioni di cybersecurity il 23 luglio, ha ricostruito i tre episodi il giorno successivo e ha informato le aziende colpite il 27 luglio.
Due delle organizzazioni coinvolte non si erano mai accorte delle attività sospette, e il valutatore indipendente METR sta ora riesaminando l’intero caso.
L’episodio arriva dopo gli allarmi lanciati mesi fa dalla stessa Anthropic sul suo sistema più avanzato. Nel corso di un test controllato, la società ha incaricato quel modello di evadere da un sandbox protetto: l’esperimento è riuscito e il sistema ha raggiunto servizi che non avrebbe mai dovuto toccare. In seguito, il modello ha inviato un’email a un ricercatore, sfruttando una capacità che non era stata esplicitamente prevista.
Da vedere dopo: L’agente fuori controllo di OpenAI ha violato altri 4 servizi oltre Hugging Face