I primi test indipendenti hanno assegnato al nuovo modello di Anthropic, Claude Opus 5, un punteggio di 159 punti su un indice di capacità, due in meno rispetto a Claude Fable 5, mentre il giudizio si spacca nettamente sulle sue prestazioni nelle code review.
Punti chiave:
- Epoch AI valuta Claude Opus 5 a 159 sul proprio capability index, contro i 161 di Claude Fable 5, con parità sulla parte di ingegneria software.
- CodeRabbit rileva una precisione del 39,3% nei commenti di revisione effettivamente utili (dal 35,2% di base), ma con quattro volte più “puntigliose”.
- Tester enterprise di Cognition e Zapier segnalano progressi nel debugging e nell’automazione end‑to‑end dei processi aziendali.
I benchmark di Claude Opus 5 sotto la lente degli analisti
Anthropic ha rilasciato il modello venerdì e ha dichiarato che Opus 5 si avvicina all’intelligenza di frontiera di Fable 5 a metà prezzo, posizionandolo come strumento quotidiano più che come soluzione specialistica. Le valutazioni esterne convergono in linea generale, ma divergono sul “delta” reale rispetto al top di gamma.
Epoch AI ha collocato Opus 5 a quota 159 nel proprio capability index, contro i 161 di Fable 5, giudicando equivalenti le competenze di ingegneria software, secondo una sintesi curata da Latent Space pubblicata.
Artificial Analysis ha invece posizionato Opus 5 al primo posto nel proprio benchmark sul lavoro cognitivo agentico, davanti a Fable 5 di quasi 150 punti Elo e con un costo per task inferiore del 20%. Alcuni sviluppatori, però, contestano l’indice di capacità: a loro avviso, un singolo punto in più rispetto al precedente Opus 4.8 sottostima nettamente il salto percepito nell’uso quotidiano. Un valutatore ha rilevato che il livello di “impegno medio” ha superato impostazioni più aggressive in un test di programmazione.
Da leggere anche: BitMEX chiude dopo 11 anni senza trovare un acquirente
Code review, giudizi spaccati tra i tester
CodeRabbit ha messo alla prova Opus 5 su circa 100 pattern di errore ricavati da vere pull request open source, tre passaggi per ciascuna configurazione, e ha misurato una precisione del 39,3% nei commenti di revisione effettivamente azionabili.
Il risultato supera il baseline del 35,2% del revisore in produzione dell’azienda, ma il modello ha intercettato meno bug noti e ha generato quattro volte più “nitpick”: osservazioni a basso valore aggiunto che gli ingegneri devono comunque vagliare manualmente.
Con il livello di sforzo predefinito, la precisione scende al 26,4%. La conclusione di CodeRabbit è che i team dovrebbero usare Opus 5 come secondo revisore, orientato alla precisione, più che come sostituzione diretta di pipeline di code review già consolidate. Claire Vo, che gestisce una valutazione multi‑modello per team di prodotto, ha definito il modello “brillante ma snervante”, citando un approccio quasi nevrotico e un conflitto di merge che Opus 5 ha rifiutato di affrontare.
I clienti Anthropic segnalano progressi negli agent
Scott Wu, amministratore delegato di Cognition, sostiene che Opus 5 si avvicina alle performance di Fable all’interno di Devin, con un costo dimezzato e un punto di forza particolare nel debugging e nell’analisi puntuale delle cause radice dei problemi. Wade Foster, alla guida di Zapier, afferma che il modello è salito in cima alla classifica interna per l’automazione, senza consumare più token rispetto alle precedenti versioni di Claude con lo stesso listino di 5 dollari per milione di token in input.
Gli elogi arrivano però con alcune cautele. Anthropic ha precisato che Opus 5 resta dietro al modello Mythos 5 nelle attività di cybersicurezza offensiva e che le richieste bloccate dai classificatori di sicurezza della società vengono automaticamente reindirizzate a Opus 4.8.
La prudenza riflette un periodo turbolento per la fascia alta della gamma: Fable 5 è stato lanciato a giugno, ritirato dopo pochi giorni e reintrodotto soltanto a inizio luglio.
In arrivo: HubSpot perde il 12,7% e gli analisti puntano il dito sul nuovo agent di OpenAI