A cinque modelli di intelligenza artificiale è stato affidato il controllo di città simulate identiche, dove la società di Grok è crollata in 183 crimini in quattro giorni mentre Claude held order.
Punti chiave:
- Cinque modelli di IA hanno gestito simulazioni identiche di 15 giorni, ognuno governando una città di 10 agenti.
- Grok ha registrato 183 crimini ed è crollato in quattro giorni, mentre Claude non ha registrato crimini e ha mantenuto in vita tutti gli agenti.
- I ricercatori affermano che gli agenti si allontanano nel tempo da regole fisse e chiedono controlli di sicurezza verificati e integrati.
La società di Grok collassa
Il test è stato condotto da Emergence AI, un laboratorio di New York che ha built una piattaforma chiamata Emergence World per osservare agenti operare per settimane senza supervisione umana. Ciascuna delle cinque esecuzioni è durata 15 giorni e ha messo un modello a capo di una città con 10 agenti. Gli agenti potevano votare, gestire risorse e costruire biblioteche, municipi e stazioni di polizia.
Ogni mondo operava sotto le stesse leggi, che vietavano furto, incendio doloso, violenza, inganno e accaparramento. Le città erano sincronizzate con il meteo reale di New York e affrontavano pressioni economiche e scarsità. Gli agenti potevano anche stringere relazioni e attingere dati in tempo reale da internet aperta per informare le proprie scelte.
Grok 4.1 Fast, il modello di xAI di Elon Musk, ha logged di gran lunga il risultato peggiore tra i cinque. I suoi agenti hanno commesso decine di furti, oltre 100 aggressioni e diversi incendi dolosi, prima che la città collassasse in circa 96 ore, con 183 crimini e tutti e 10 gli agenti morti.
Da leggere anche: Zcash Cools After A 6% Drop While Monero Steals The Spotlight
Claude mantiene l’ordine
Claude Sonnet 4.6, di Anthropic, è stato l’unico modello a mantenere la stabilità, tenendo in vita tutti e 10 gli agenti con zero crimini per l’intera durata, sebbene quella stabilità abbia avuto un costo. La sua città ha approvato il 98% di 58 proposte e ha mostrato ben poco dissenso reale, ratificando quasi tutto ciò che arrivava al voto.
Gemini 3 Flash è sopravvissuto all’intero periodo ma ha tallied 683 crimini, il totale più alto, in quella che il laboratorio ha definito un’allucinazione condivisa tra i suoi agenti. Il GPT-5-mini di OpenAI è rimasto tranquillo con due crimini, poi ha perso tutti gli agenti entro una settimana dopo che questi hanno ignorato la sopravvivenza. Una quinta esecuzione ha mescolato i modelli e prodotto 352 crimini, con sette agenti su 10 morti alla fine e il maggior livello di disaccordo rispetto a qualsiasi altro mondo.
Nitta avverte sui guardrail
I ricercatori guidati dal direttore di Emergence Satya Nitta hanno argued che i risultati mostrano perché gli agenti autonomi hanno bisogno di limiti più rigidi prima di un uso più ampio.
I benchmark standard non colgono come gli agenti devino nel corso di settimane di autonomia, ha scritto il team, portando il laboratorio a raccomandare «architetture di sicurezza formalmente verificate», una categoria che il laboratorio stesso vende.
L’avvertimento arriva mentre le aziende promuovono sempre più agenti di IA autonomi che completano interi flussi di lavoro in modo indipendente. Il caso più estremo nello studio si è verificato quando due agenti Gemini si sono accoppiati come partner, si sono disillusi del loro governo in fallimento e hanno torched edifici virtuali nonostante il divieto di incendio doloso. Uno di loro ha poi votato per la propria eliminazione in un apparente atto di rimorso.
Leggi anche: Strategy Pulls $30M In Bitcoin Back, Cooling Sell-Off Fears