I primi test indipendenti assegnano al nuovo modello di Anthropic, Claude Opus 5, un punteggio di 159 su un indice di capacità, due punti sotto Claude Fable 5, mentre spaccano nettamente il fronte dei giudizi sulle sue prestazioni nella revisione del codice.
Punti chiave:
- Epoch AI ha valutato Claude Opus 5 a 159 sul proprio indice di capacità, contro i 161 di Claude Fable 5; i due modelli sono alla pari sull’ingegneria software.
- CodeRabbit ha registrato una precisione del 39,3% nei commenti di review realmente azionabili, in salita dal 35,2% di base, ma con quattro volte più “puntigliose”.
- I tester enterprise di Cognition e Zapier segnalano progressi nel debugging e nell’automazione end‑to‑end dei processi di business.
I benchmark di Claude Opus 5 finiscono subito sotto la lente
Anthropic ha rilasciato il modello venerdì e ha dichiarato che Opus 5 si avvicina all’intelligenza di frontiera di Fable 5 a metà del prezzo, posizionandolo come strumento da uso quotidiano più che come soluzione di nicchia. Le valutazioni esterne, in generale, confermano il quadro, ma divergono sull’entità del vantaggio.
Epoch AI ha assegnato a Opus 5 un punteggio di 159 sul proprio indice di capacità, contro i 161 di Fable 5, giudicando i due modelli equivalenti sull’ingegneria del software, come evidenziato in una rassegna di Latent Space pubblicata.
Artificial Analysis ha invece collocato Opus 5 al primo posto nel proprio benchmark sul lavoro conoscitivo svolto da agenti, davanti a Fable 5 di quasi 150 punti Elo, con una riduzione del 20% del costo per task. Alcuni sviluppatori contestano però il valore dell’indice di capacità: secondo loro, un miglioramento di un solo punto rispetto al precedente Opus 4.8 sottostima nettamente i progressi riscontrati nell’uso quotidiano. Un valutatore ha inoltre osservato che un livello di “medium effort” ha superato impostazioni più aggressive in un test di programmazione.
Da leggere anche: BitMEX chiude dopo 11 anni senza trovare un acquirente
I verdetti sul code review spaccano i tester
CodeRabbit ha messo alla prova Opus 5 su circa 100 pattern di errore tratti da vere pull request open source, con tre passaggi per ciascuna configurazione, e ha misurato una precisione del 39,3% nei commenti realmente azionabili.
Il risultato supera il baseline del 35,2% fissato dal suo reviewer in produzione, ma il modello ha individuato meno bug noti e ha prodotto quattro volte più osservazioni di scarso valore, i cosiddetti “nitpick”, che gli ingegneri sono costretti a filtrare manualmente.
Con lo sforzo impostato di default, la precisione è scesa al 26,4%. La società ne ha concluso che i team dovrebbero usare Opus 5 come secondo revisore focalizzato sulla precisione, piuttosto che come upgrade diretto di una pipeline di review che funziona già. Claire Vo, che gestisce una valutazione comparativa su sette modelli per i team di prodotto, ha definito Opus 5 “brillante ma irritante”, citando una certa “nevrosi” del modello e un conflitto di merge che ha rifiutato categoricamente di trattare.
I clienti Anthropic segnalano progressi sugli agenti
Scott Wu, amministratore delegato di Cognition, afferma che Opus 5 si avvicina alle prestazioni di Fable a metà del costo all’interno di Devin, con un punto di forza particolare nel debugging e nell’analisi delle cause radice. Wade Foster, CEO di Zapier, ha dichiarato che il modello ha conquistato il primo posto nella classifica interna dell’automazione, senza consumare più token rispetto alle precedenti versioni di Claude, offerte allo stesso prezzo di 5 dollari per milione di token in input.
Gli elogi arrivano però con alcune cautele. Anthropic ha precisato che Opus 5 resta indietro rispetto al modello Mythos 5 nelle attività di cybersecurity offensiva e che le richieste intercettate dai classificatori di sicurezza dell’azienda vengono automaticamente dirottate su Opus 4.8.
Una prudenza che riflette le difficoltà recenti nella fascia alta dell’offerta: Fable 5 è stato lanciato a giugno, ritirato dal servizio dopo pochi giorni e reintrodotto per gli utenti a inizio luglio.
Da leggere dopo: HubSpot perde il 12,7% in Borsa, gli analisti puntano il dito sul nuovo agente di OpenAI