Des testeurs indépendants ont attribué une note de 159 au nouveau modèle de Anthropic, Claude Opus 5, sur un indice de capacités, soit deux points de moins que Claude Fable 5, tout en se montrant profondément divisés sur ses performances en revue de code.
À retenir :
- Epoch AI a noté Claude Opus 5 à 159 sur son indice de capacités, contre 161 pour Claude Fable 5, avec une égalité parfaite sur l’ingénierie logicielle.
- CodeRabbit a mesuré 39,3 % de précision sur les commentaires de revue réellement actionnables, en hausse par rapport à un socle de 35,2 %, mais avec quatre fois plus de pinaillages.
- Des clients entreprises chez Cognition et Zapier relèvent des gains en débogage et en automatisation métier de bout en bout.
Les benchmarks de Claude Opus 5 sous le feu des premières analyses
Anthropic a lancé le modèle vendredi et assure qu’il se rapproche de l’intelligence de frontière de Fable 5 pour un coût divisé par deux, en le positionnant comme un outil du quotidien plutôt qu’un spécialiste de niche. La plupart des évaluateurs externes valident l’ordre de grandeur, mais divergent sur les écarts.
Epoch AI a placé Opus 5 à 159 sur son indice de capacités, contre 161 pour Fable 5, et les a jugés ex æquo sur l’ingénierie logicielle, comme le souligne une synthèse de Latent Space publiée.
Artificial Analysis a classé le modèle en tête de son benchmark de travail intellectuel agentique, devant Fable 5 de près de 150 points Elo, tout en réduisant de 20 % le coût par tâche. Certains développeurs contestent toutefois la pertinence de cet indice de capacités : selon eux, un seul point de mieux que l’ancien Opus 4.8 reflète très mal le saut perçu à l’usage quotidien. Un évaluateur a même constaté que le niveau d’effort « moyen » surperformait les réglages plus ambitieux sur un test de code.
À lire aussi : BitMEX ferme ses portes après 11 ans, faute de repreneur
Revue de code : verdicts tranchés entre testeurs
CodeRabbit a soumis Opus 5 à une centaine de motifs d’erreurs issus de vraies pull requests open source, avec trois passes par configuration, et a mesuré une précision de 39,3 % sur les commentaires réellement actionnables.
Ce score dépasse le socle de 35,2 % de son reviewer en production, mais le modèle détecte moins de bogues connus et génère quatre fois plus de micro‑remarques à faible valeur ajoutée, que les ingénieurs doivent trier manuellement.
Au niveau d’effort par défaut, la précision retombe à 26,4 %. La société en conclut que les équipes devraient utiliser Opus 5 comme un deuxième reviewer, orienté précision, plutôt que comme un simple remplacement dans une chaîne de revue qui fonctionne déjà. Claire Vo, qui pilote une évaluation comparative de sept modèles pour les équipes produit, qualifie le modèle de brillant mais agaçant, évoquant un côté « névrosé » et un conflit de fusion qu’il a purement et simplement refusé de traiter.
Les clients d’Anthropic saluent des progrès côté agents
Scott Wu, directeur général de Cognition, affirme qu’Opus 5 se rapproche des performances de Fable pour un coût moitié moindre au sein de Devin, avec une forte valeur ajoutée sur le débogage et l’analyse de causes racines. Wade Foster, patron de Zapier, indique que le modèle a pris la tête de leur classement interne d’automatisation, sans consommer plus de jetons que les précédentes versions de Claude facturées au même tarif de 5 $ par million de jetons d’entrée.
Les louanges restent toutefois nuancées. Anthropic reconnaît qu’Opus 5 reste derrière son modèle Mythos 5 sur les usages offensifs en cybersécurité et que les requêtes signalées par les classifieurs de sécurité maison sont automatiquement basculées vers Opus 4.8.
Cette prudence s’inscrit dans un contexte chahuté pour le haut de gamme, Fable 5 ayant été lancé en juin, retiré du service quelques jours plus tard, puis rétabli auprès des utilisateurs début juillet.
À suivre : HubSpot décroche de 12,7 % et les analystes pointent du doigt le nouvel agent d’OpenAI