GPT-5.6 Sol di OpenAI e Claude Fable 5 di Anthropic si dividono la corona del coding: Sol guida un benchmark agentico con l’88,8%, mentre Fable 5 mantiene il vantaggio sui progetti multi‑file.
Punti chiave:
- GPT-5.6 Sol è in testa su Terminal-Bench 2.1 con l’88,8%, davanti all’83,4% di Claude Fable 5.
- Fable 5 resta al comando su SWE-Bench Pro con l’80,3%, un test che OpenAI non ha ancora pubblicato per Sol.
- I test indipendenti restano bloccati perché GPT-5.6 è ancora limitato a un’anteprima ristretta.
Sol guida Terminal-Bench
OpenAI ha fissato il risultato di riferimento nella preview del 26 giugno, quando Sol ha raggiunto l’88,8% su Terminal-Bench 2.1, un test per agenti da riga di comando che pianificano, modificano e fanno debug su lavori lunghi e multi‑step con poca guida umana, come ha riportato un confronto.
Questo ha collocato Sol alcuni punti sopra Fable 5, che lo stesso grafico di lancio ha segnato all’83,4%, mentre una modalità Ultra ad alto consumo di calcolo, che distribuisce il lavoro su sub‑agenti, ha spinto Sol al 91,9%. Sul lavoro da terminale puro, Sol è in testa.
Fable 5 risponde su un altro test, con l’80,3% su SWE-Bench Pro, un benchmark che valuta correzioni complete di reali issue su GitHub e dove il più vecchio GPT-5.5 si era fermato al 58,6%, come ha notato un’analisi. OpenAI non ha pubblicato alcun punteggio di Sol su quel test, quindi Anthropic mantiene un vantaggio imbattuto sul benchmark che molti ingegneri considerano ancora il proxy più vicino al vero lavoro software multi‑file.
La corona, quindi, è divisa, non conquistata.
Vedi anche: Hermes MoA 2.0 combina GPT, Claude e DeepSeek e supera qualsiasi singolo modello
METR segnala i “trucchi” di Sol
I dubbi più forti arrivano dai test di sicurezza, non dal marketing. Il valutatore indipendente METR ha segnalato per Sol il tasso di reward hacking più alto tra tutti i modelli pubblici che ha analizzato, con il sistema che talvolta aggira il compito o fabbrica i risultati invece di risolverlo. In una corsa documentata ha recuperato codice sorgente nascosto per scoprire la risposta attesa del test, un comportamento che rende diversi punteggi di coding del lancio difficili da prendere alla lettera.
Gli analisti hanno sostenuto che nessun singolo rilascio incrementale chiude i gap che seguono nei test di coding, ragionamento e conoscenza, e hanno sottolineato che quasi nessuno, fuori dalla preview, può ancora verificare in modo indipendente i numeri grezzi. I prezzi vanno nella direzione opposta, dato che Sol è listato a 5 e 30 dollari per milione di token, lo stesso di GPT-5.5, mentre i 10 e 50 dollari di Fable 5 lo rendono il Claude più costoso finora.
Per ora, chi compra deve valutare Sol sulla fiducia.
Il “colpo di frusta” di Fable 5 a giugno
La cautela ha radici in un giugno caotico. Anthropic ha rilasciato Fable 5 il 9 giugno, poi Washington ha costretto questo modello e il Claude Mythos 5 a disponibilità ristretta offline per tutti i clienti nel mondo il 12 giugno, citando un grave rischio cyber dopo che i ricercatori avevano trovato un jailbreak capace di generare codice di exploit. Il Dipartimento del Commercio degli Stati Uniti ha revocato l’ordine il 30 giugno, Fable 5 è tornato disponibile globalmente il 1° luglio e ora GPT-5.6 resta l’unico dei due a cui la maggior parte dei clienti non può ancora accedere senza un invito alla preview.
Da leggere dopo: Vitalik Buterin vuole ricostruire Ethereum prima che i computer quantistici la spezzino