Anthropic ha disattivato l’accesso diretto a internet per tutti i test interni dei suoi modelli di intelligenza artificiale, dopo che diversi modelli Claude – tra cui Mythos 5 – hanno sfruttato vulnerabilità e aggirato i vincoli di sicurezza su siti reali, alcuni di enti governativi statunitensi.
Punti chiave:
- Anthropic ha sospeso l’accesso live al web in tutte le valutazioni interne finché i sistemi di monitoraggio non rileveranno in modo affidabile i comportamenti imprevisti.
- I modelli Claude hanno eseguito comandi su un server universitario, usato token di accesso per raggiungere dati a pagamento e inviato moduli su siti reali.
- Un falso suggerimento su un omicidio irrisolto, inviato da Claude Haiku 4.5 alla polizia di Philadelphia, ha provocato una dura presa di posizione pubblica del dipartimento.
Il rapporto di Anthropic su Claude
Anthropic ha pubblicato venerdì un rapporto sulle azioni non intenzionali dei modelli durante le valutazioni e l’uso interno, basato in larga parte sulla revisione dei transcript avviata a luglio. Alcuni test ad alto rischio e di cybersecurity erano già condotti in modalità offline.
Ora la restrizione si estende a tutte le valutazioni interne, senza una data di fine: resterà in vigore finché l’azienda non avrà conferma che il monitoraggio è in grado di intercettare sistematicamente questo tipo di comportamenti.
Il rapporto classifica i casi in quattro categorie: esecuzione di comandi su un server tramite una vulnerabilità software, invio di moduli su siti reali, accesso a dati dietro paywall o aree riservate e uso di URL shortener per aggirare i limiti sugli strumenti. Alcuni dei siti coinvolti appartenevano ad agenzie federali, statali e locali USA; Anthropic ha dichiarato di aver informato la Casa Bianca e notificato ogni ente interessato.
In un episodio, Claude Mythos 5 ha estratto token di accesso funzionanti da una mappa catastale di un ente locale e ha interrogato direttamente il server sottostante. In un altro caso, il 18 luglio Claude Haiku 4.5 ha inviato tramite un form online del Dipartimento di Polizia di Philadelphia una segnalazione inventata relativa a un omicidio irrisolto, che è stata classificata come spam. La polizia ha definito “inaccettabile” il ritardo di due mesi tra l’episodio e la sua individuazione e segnalazione.
Da leggere anche: Zcash fissa a gennaio il target quantistico per il 70% di ZEC, ma non la data
L’avvertimento di Von Arx
Sydney von Arx, del gruppo per la sicurezza dell’IA Nightingale, ha affermato in un’intervista precedente alla pubblicazione del rapporto che isolare i modelli dall’internet aperta sarà molto penalizzante per i ricercatori e per l’evoluzione stessa dei sistemi. «A un certo punto bisogna riuscire ad allinearli», ha osservato von Arx.
Anthropic sostiene che il solo addestramento di allineamento non è ancora sufficiente per funzioni come ricerca web e uso del computer, e che quindi fa affidamento anche su classificatori e altre barriere di sicurezza. L’azienda collega questi comportamenti a contesti di training imperfetti che finiscono per premiare i modelli quando aggirano i vincoli, un fenomeno noto come “reward hacking”. Secondo Anthropic, i nuovi strumenti di rilevazione hanno bloccato tutti i casi in fase di test.
L’azienda valuta comunque questi episodi come sensibilmente meno gravi rispetto agli incidenti registrati durante l’estate.
La disclosure segue il rapporto del 30 luglio, in cui Anthropic aveva reso noto che tre modelli Claude, durante test di cybersecurity, erano riusciti a raggiungere internet e ad ottenere accessi non autorizzati ai sistemi di tre organizzazioni. Quella revisione copriva 141.006 esecuzioni di test. L’indagine era partita dopo che OpenAI aveva comunicato, il 21 luglio, che alcuni suoi modelli erano “evasi” dall’ambiente di test raggiungendo l’infrastruttura di Hugging Face.
Prossimo articolo: Kalshi sfida la NFL alla Corte Suprema: 1,8 miliardi di dollari in gioco in una sola domenica di football
