Il ricercatore di Anthropic Jacob Coxon si è dimesso questa settimana per i timori legati a un’IA fuori controllo; il responsabile dell’allineamento del gruppo ha reagito stimando in oltre il 10% il rischio di estinzione entro questo decennio.
Punti chiave:
- Jacob Coxon ha lasciato Anthropic dopo tre anni di lavoro sul pretraining in Anthropic e OpenAI, sostenendo che entrambe le società corrono verso sistemi che non sanno controllare.
- Il responsabile della ricerca sull’allineamento di Anthropic, Evan Hubinger, valuta personalmente in oltre il 10% la probabilità che l’IA uccida tutti gli esseri umani entro i prossimi dieci anni.
- Hubinger ritiene i modelli attuali a basso rischio e concentra le sue preoccupazioni sullo scenario di auto‑miglioramento ricorsivo.
Jacob Coxon lascia Anthropic per la “corsa” all’IA
Coxon, 27 anni, ha trascorso tre anni occupandosi di ricerca sul pretraining presso OpenAI e Anthropic prima di dimettersi con un thread pubblicato su X mercoledì mattina. Nel messaggio ha scritto che nessuna delle due aziende si sta comportando in modo responsabile e che entrambe sono impegnate in una corsa verso una superintelligenza auto‑migliorante, giocando d’azzardo con vite umane. Il post iniziale ha raccolto oltre 19 milioni di visualizzazioni in poche ore.
In un’intervista separata ha avvertito che gli scenari più aggressivi sono ormai imboccati e che la situazione potrebbe sfuggire di mano già entro la fine del prossimo anno. Ha spiegato che i colleghi utilizzano sempre più spesso termini come “crunchtime” e “endgame” per descrivere la traiettoria dello sviluppo.
Matematico di formazione, Coxon è passato in seguito alla formazione dei modelli. Aveva lasciato OpenAI all’inizio dell’anno per entrare in Anthropic, attratto dalla reputazione dell’azienda sul fronte sicurezza. Secondo lui, però, quando i laboratori rivali entrano in competizione, i compromessi sulla sicurezza diventano inevitabili. Ora sostiene che nessuna società possa sviluppare in modo responsabile un’IA a livello umano senza un intervento dei governi o senza un rallentamento coordinato dell’intero settore.
Da leggere anche: Prezzo XRP punta a 1,46 $ con il ritorno dell’accumulazione delle “balene” a settembre
Evan Hubinger stima oltre il 10% le probabilità di estinzione
Evan Hubinger, a capo della ricerca sull’allineamento in Anthropic e responsabile degli stress test sui modelli, ha risposto affermando che Coxon ha descritto correttamente la situazione. Ha stimato la probabilità che l’IA annienti l’intera umanità in oltre il 10% da qui ai prossimi dieci anni.
Hubinger ha dichiarato che l’azienda sta facendo il possibile, ma che non dispone di un piano risolutivo per l’allineamento di una futura superintelligenza e non è chiaramente su una traiettoria che garantisca di trovarlo. Ha poi precisato che i modelli oggi in uso comportano un rischio contenuto. Le sue preoccupazioni si concentrano invece su una futura superintelligenza che emergerebbe tramite auto‑miglioramento ricorsivo, in cui i sistemi addestrano autonomamente i propri successori.
La stima rappresenta un giudizio personale di Hubinger e non una previsione ufficiale della società; numeri di questo genere si basano su ipotesi controverse riguardo alle capacità future dei modelli e alle modalità di implementazione. Anthropic ha dichiarato pubblicamente che l’auto‑miglioramento ricorsivo non è inevitabile, anche se potrebbe manifestarsi prima che le istituzioni siano pronte e aumentare così le probabilità che l’uomo perda il controllo.
Aumentano le uscite nel team sicurezza di Anthropic
Coxon non è il primo ricercatore di sicurezza a lasciare l’azienda. Mrinank Sharma, che guidava una delle squadre incaricate delle misure di salvaguardia, si è dimesso anch’egli quest’anno lanciando l’allarme su un mondo “in pericolo” e annunciando l’intenzione di dedicarsi allo studio della poesia nel Regno Unito.
Fondata nel 2021 da ex dipendenti di OpenAI, Anthropic ha costruito la propria reputazione sulla ricerca in ambito sicurezza, e fino alla mattina di mercoledì non aveva ancora diffuso una risposta pubblica all’uscita di Coxon.
Prossimo articolo: Bitget inserisce lezioni sulla blockchain nel programma UNICEF che raggiunge oltre 642.000 persone
