Grok 4.5 apporte un soutien chiffré aux promesses d’Elon Musk sur le rapport coût‑performance, après qu’un benchmark indépendant d’agents l’a classé en tête.
À retenir
- Grok 4.5 a obtenu 51,4 % sur AutomationBench‑AA, devant deux modèles Claude.
- Le coût par tâche ressort à 0,34 $, très en dessous de ses rivaux d’Anthropic.
- Son taux plus élevé de violations de garde‑fous reste un risque pour les déploiements d’agents en entreprise.
Le benchmark Grok
Artificial Analysis a indiqué dans un rapport que Grok 4.5 a atteint 51,4 % sur AutomationBench‑AA, devant Claude Fable 5 à 48,6 % et Claude Opus 4.8 à 48,5 %. Le modèle affiche également un coût de 0,34 $ par tâche, contre 1,35 $ pour Fable 5 et 1,46 $ pour Opus 4.8.
Ce benchmark vient corroborer de façon indépendante l’affirmation de Musk selon laquelle Grok 4.5 est un modèle de classe Opus, plus rapide et moins cher. SpaceXAI a rendu le modèle public cette semaine, en s’appuyant sur une base V9 de 1,5 billion de paramètres et sur de premières évaluations internes pour cadrer le lancement.
AutomationBench‑AA couvre 657 tâches réparties sur 40 applications simulées, dont Gmail, Slack, Salesforce et HubSpot. Le test mesure la capacité d’un agent IA à atteindre ses objectifs sans enfreindre les garde‑fous, tandis qu’Artificial Analysis garde l’ensemble de tâches privé pour limiter la contamination du benchmark.
À lire aussi : Grok 4.5 défie OpenAI et Anthropic avec une IA agentique moins chère
Le pari de Musk
Selon Artificial Analysis, Grok 4.5 a consommé environ 8 000 jetons de sortie par tâche, soit environ un quart de la consommation d’Opus 4.8. « Son volume total de 0,44 M de jetons par tâche figure parmi les plus bas du classement », indique le cabinet, en précisant que le faible coût découle à la fois de l’efficacité et de la tarification des jetons.
Le modèle a rempli 79,9 % des objectifs de tâches et a entièrement réussi 21,9 % des tâches. Dans la finance, le segment le plus exigeant du benchmark, Grok 4.5 arrive en tête avec 71 %, contre 64 % pour Fable 5 et 62 % pour Opus 4.8.
Son point faible reste la conformité. Grok 4.5 affiche 0,63 violation de garde‑fou par tâche, contre 0,55 pour Opus 4.8 et 0,46 pour Gemini 3.5 Flash de Google, un écart significatif pour les entreprises qui déploient des agents au plus près de systèmes financiers en production.
Le discours de lancement de Musk met davantage en avant un compromis “pratique” qu’une domination sans partage des benchmarks. Grok 4.5 dispose désormais d’éléments externes en faveur de son coût et de sa rapidité, mais son taux plus élevé d’écarts aux règles illustre pourquoi l’adoption en entreprise dépendra encore de sa fiabilité opérationnelle.
À suivre : La reprise du Bitcoin souffre d’un déficit de demande que les haussiers ne peuvent ignorer