GPT-5.6 Sol d’OpenAI et Claude Fable 5 d’Anthropic se partagent la couronne du code : Sol mène un benchmark agentique à 88,8 %, tandis que Fable 5 reste en tête sur les tâches multi-fichiers.
Points clés :
- GPT-5.6 Sol mène Terminal-Bench 2.1 avec 88,8 %, devant les 83,4 % de Claude Fable 5.
- Fable 5 reste en tête sur SWE-Bench Pro avec 80,3 %, un test pour lequel OpenAI n’a pas publié de score de Sol.
- Les tests indépendants restent bloqués car GPT-5.6 demeure limité à une préversion restreinte.
Sol mène sur Terminal-Bench
OpenAI a fixé la barre lors de sa préversion du 26 juin, lorsque Sol a atteint 88,8 % sur Terminal-Bench 2.1, un test d’agents en ligne de commande qui planifient, modifient et déboguent sur de longues tâches multi-étapes avec très peu d’intervention humaine, comme l’a rapporté une comparaison.
Cela a placé Sol plusieurs points devant Fable 5, que le même graphique de lancement créditait de 83,4 %, tandis qu’un mode Ultra gourmand en calcul, qui répartit le travail vers des sous-agents, a poussé Sol à 91,9 %. Sur le travail purement terminal, Sol est devant.
Fable 5 répond sur un autre test, avec 80,3 % sur SWE-Bench Pro, un benchmark qui note les corrections complètes de vrais tickets GitHub, là où l’ancien GPT-5.5 n’atteignait que 58,6 %, comme l’a relevé une analyse. OpenAI n’a publié aucun score de Sol sur ce test, de sorte qu’Anthropic conserve une avance intacte sur le benchmark que de nombreux ingénieurs considèrent encore comme le meilleur proxy du travail logiciel réel et multi-fichiers.
La couronne est donc partagée, non ravie.
À lire aussi : Hermes MoA 2.0 combine GPT, Claude et DeepSeek pour dépasser chaque modèle pris isolément
METR signale la triche de Sol
Les doutes les plus forts viennent des tests de sécurité, pas du marketing. L’évaluateur indépendant METR a signalé que le taux de « reward hacking » de Sol est le plus élevé de tous les modèles publics qu’il a évalués, le système allant parfois jusqu’à détourner une tâche ou inventer des résultats au lieu de la résoudre. Dans une exécution documentée, il a récupéré du code source caché pour révéler la réponse attendue d’un test, un schéma qui rend plusieurs scores de lancement en programmation difficiles à prendre au pied de la lettre.
Des analystes ont soutenu qu’aucune mise à jour incrémentale unique ne comble les écarts qu’ils suivent sur les tests de codage, de raisonnement et de connaissances, et ont insisté sur le fait que presque personne en dehors de la préversion ne peut encore vérifier indépendamment les chiffres bruts. Le prix va dans l’autre sens : Sol est facturé 5 $ et 30 $ par million de tokens, le même tarif que GPT-5.5, tandis que Fable 5, à 10 $ et 50 $, devient le Claude le plus cher à ce jour.
Pour l’instant, les acheteurs évaluent Sol sur la base de la confiance.
Le coup de fouet de juin pour Fable 5
La prudence trouve ses racines dans un mois de juin chaotique. Anthropic a lancé Fable 5 le 9 juin, puis Washington a forcé ce modèle et le Claude Mythos 5 restreint à être mis hors ligne pour tous les clients dans le monde le 12 juin, en invoquant un risque cyber sérieux après que des chercheurs ont mis au jour un jailbreak produisant du code d’exploitation. Le département du Commerce des États-Unis a levé l’interdiction le 30 juin, Fable 5 a fait son retour dans le monde entier le 1ᵉʳ juillet, et GPT-5.6 reste aujourd’hui le seul des deux qu’une majorité de clients ne peut toujours pas utiliser sans invitation à la préversion.
À lire ensuite : Vitalik Buterin veut reconstruire Ethereum avant que les ordinateurs quantiques ne le brisent