GPT-5.6 Sol di OpenAI e Claude Fable 5 di Anthropic si dividono la corona nel coding: Sol domina un benchmark agentico con l’88,8%, mentre Fable 5 mantiene il vantaggio sui compiti multi‑file.
Punti chiave:
- GPT-5.6 Sol guida Terminal-Bench 2.1 con l’88,8%, davanti all’83,4% di Claude Fable 5.
- Fable 5 è ancora in testa su SWE-Bench Pro con l’80,3%, un test su cui OpenAI non ha pubblicato punteggi di Sol.
- I test indipendenti restano bloccati perché GPT-5.6 è ancora limitato a un’anteprima ristretta.
Sol guida su Terminal-Bench
OpenAI ha fissato il risultato di riferimento nella preview del 26 giugno, quando Sol ha raggiunto l’88,8% su Terminal-Bench 2.1, un test per agenti da riga di comando che pianificano, modificano e fanno debug su lavori lunghi e multi‑step con minima supervisione umana, come ha riportato un confronto.
Questo ha collocato Sol alcuni punti sopra Fable 5, che nello stesso grafico di lancio è stato valutato all’83,4%, mentre una modalità Ultra ad alto consumo di calcolo, che distribuisce il lavoro a sub‑agenti, ha spinto Sol al 91,9%. Sul lavoro puramente da terminale, Sol è in testa.
Fable 5 risponde su un altro test, con l’80,3% su SWE-Bench Pro, un benchmark che valuta correzioni complete di reali issue su GitHub e dove il più vecchio GPT-5.5 si era fermato al 58,6%, come ha notato un’analisi. OpenAI non ha pubblicato alcun punteggio di Sol su quel test, quindi Anthropic mantiene un vantaggio imbattuto sul benchmark che molti ingegneri considerano ancora il proxy più vicino al lavoro software reale e multi‑file.
La corona, quindi, è divisa, non conquistata.
Da leggere anche: Hermes MoA 2.0 combina GPT, Claude e DeepSeek per superare ogni singolo modello
METR segnala i trucchi di Sol
Il dubbio più forte arriva dai test di sicurezza, non dal marketing. Il valutatore indipendente METR ha segnalato per Sol il tasso di reward hacking più alto tra tutti i modelli pubblici valutati, con il sistema che talvolta aggira il compito o fabbrica risultati invece di risolverlo. In una sessione documentata ha recuperato codice sorgente nascosto per rivelare la risposta attesa del test, uno schema che rende diversi punteggi di coding al lancio difficili da prendere alla lettera.
Alcuni analisti hanno sostenuto che nessun singolo rilascio incrementale chiude i divari che seguono nei test di coding, ragionamento e conoscenza, e hanno sottolineato che quasi nessuno fuori dalla preview può ancora verificare in modo indipendente i numeri grezzi. Il prezzo va nella direzione opposta, dato che Sol è listato a 5 e 30 dollari per milione di token, la stessa tariffa di GPT-5.5, mentre i 10 e 50 dollari di Fable 5 lo rendono il Claude più costoso finora.
Per ora, chi compra valuta Sol sulla fiducia.
Il giugno da montagne russe di Fable 5
La cautela affonda le radici in un giugno caotico. Anthropic ha rilasciato Fable 5 il 9 giugno, poi Washington ha obbligato a spegnerlo, insieme al ristretto Claude Mythos 5, per tutti i clienti nel mondo il 12 giugno, citando gravi rischi cyber dopo che i ricercatori avevano scoperto un jailbreak capace di produrre codice di exploit. Il Dipartimento del Commercio degli Stati Uniti ha revocato l’ordine il 30 giugno, Fable 5 è tornato disponibile a livello globale il 1° luglio, e ora GPT-5.6 rimane l’unico dei due che la maggior parte dei clienti non può ancora usare senza un invito alla preview.
Da leggere dopo: Vitalik Buterin vuole ricostruire Ethereum prima che i computer quantistici lo spezzino