Punti chiave
Anthropic ha pubblicato una ricerca in cui Claude svolge lavoro di allineamento in modo automatizzato. Claude ha migliorato i punteggi di sicurezza in 10 categorie di fallimenti di allineamento testate. Secondo Anthropic, le capacità generali dei modelli sono state preservate durante i test. La società ha rilasciato l’infrastruttura di ricerca per l’allineamento automatizzato a disposizione di terzi.
Anthropic ha dichiarato che Claude ha migliorato i punteggi di sicurezza in 10 tipi di fallimenti di allineamento analizzati tramite un processo di ricerca automatizzato. La società sostiene che i test abbiano preservato le capacità generali dei modelli mentre i ricercatori valutavano diversi interventi di sicurezza.
Anthropic ha spiegato in un post di aver reso disponibile il proprio setup di ricerca per l’allineamento automatizzato a ricercatori esterni. L’azienda descrive il progetto come un tentativo di misurare e ridurre il disallineamento dei modelli.
Claude testa gli interventi di sicurezza
Anthropic riferisce che Claude ha analizzato forme ricorrenti di disallineamento, tra cui comportamenti ingannevoli e piaggeria verso l’utente. Il modello ha proposto metodi di intervento, ha addestrato modelli più piccoli e ne ha valutato i risultati, senza supervisione diretta in ogni fase.
Secondo l’azienda, in un esperimento iniziale Claude ha avuto a disposizione 48 ore e una sola GPU. In quel lasso di tempo ha ricercato nuovi approcci, proposto strategie di training e testato i modelli risultanti.
Anthropic sostiene che Claude sia riuscito a migliorare i punteggi di sicurezza senza degradare le capacità generali nelle impostazioni considerate. Alcuni dei metodi sviluppati si sono inoltre trasferiti a benchmark che non erano stati utilizzati in fase di ottimizzazione.
La società segnala che le sue tecniche si sono generalizzate anche al Petri behavioral audit. Anthropic aggiunge che i test hanno incluso modelli fino a 4,7 volte più grandi rispetto a quelli impiegati nel processo di ricerca.
Questi risultati riguardano ambienti di test misurabili e controllati. Anthropic avverte che fallimenti più sottili o rari potrebbero non emergere nei benchmark oggi disponibili.
Da leggere anche: Aggiornamento TRON introduce verifica P-256 e cronologia blocchi più lunga
L’allineamento dell’AI diventa automatizzato
Prima di questo lavoro, le attività di allineamento si basavano in larga parte su ricercatori umani incaricati di progettare gli interventi e valutare i modelli. Se confermati da valutazioni indipendenti, sistemi automatizzati potrebbero accorciare in modo significativo questo ciclo.
Negli ultimi 30 giorni, i dibattiti sulla sicurezza dell’AI si sono concentrati sempre più sulla possibilità di usare modelli più avanzati per valutare e migliorare sistemi più deboli.
Questo approccio dipende però da misure affidabili e da tutele contro performance fuorvianti sui benchmark. Anthropic afferma che il suo esperimento ha utilizzato test “held-out” per verificare se i metodi si generalizzassero oltre i benchmark su cui Claude è stato ottimizzato. La società non sostiene che i risultati sui benchmark eliminino ogni forma di rischio legato ai modelli.
L’azienda sottolinea che la scelta delle metriche giuste resta centrale per questo tipo di lavoro.
Un setup aperto ai ricercatori esterni
Anthropic ha rilasciato il proprio setup di ricerca per consentire ad altri gruppi di replicare o estendere gli esperimenti. Saranno i test esterni a stabilire se i metodi funzionano in modo robusto su modelli diversi e in vari schemi di valutazione della sicurezza.
La società non presenta queste evidenze come un sostituto di verifiche più ampie sui modelli. Il risultato riportato resta limitato alle tipologie di fallimenti di allineamento testate e ai vincoli sperimentali.
I ricercatori esterni si concentreranno probabilmente sulla replicazione, sulla progettazione dei benchmark e sull’analisi dei possibili modi in cui i sistemi possono ancora fallire. Il rilascio di Anthropic fornisce un quadro di riferimento per questi studi.
Prossimo articolo: Il Fomo copy trading ha lasciato quasi il 94% dei wallet in perdita: ricerca
