Grok 4.5 geeft de kosten- en prestatieloftes van Elon Musk nieuw gewicht nu een onafhankelijke agent-benchmark het model bovenaan plaatst.
Belangrijkste punten:
- Grok 4.5 scoorde 51,4% op AutomationBench-AA en bleef twee Claude-modellen voor.
- De kosten lagen op $0,34 per taak, aanzienlijk onder die van de dichtstbijzijnde Anthropic-concurrenten.
- Het hogere aantal schendingen van guardrails blijft een risico voor grootschalige inzet van AI-agents in het bedrijfsleven.
Grok-benchmark
Artificial Analysis meldde dat Grok 4.5 51,4% haalde op AutomationBench-AA, boven Claude Fable 5 met 48,6% en Claude Opus 4.8 met 48,5%. De kosten bedroegen bovendien slechts $0,34 per taak, tegenover $1,35 voor Fable 5 en $1,46 voor Opus 4.8.
De benchmark biedt een externe toets voor Musk’s stelling dat Grok 4.5 een Opus-klasse model is dat sneller draait en goedkoper is. SpaceXAI bracht het model deze week naar het grote publiek, met een V9-fundament van 1,5 biljoen parameters en vroege interne evaluaties als kapstok voor de lancering.
AutomationBench-AA omvat 657 taken verdeeld over 40 gesimuleerde applicaties, waaronder Gmail, Slack, Salesforce en HubSpot. De test kijkt of een AI-agent doelstellingen kan halen zonder guardrails te doorbreken. Artificial Analysis houdt de exacte takenlijst bewust geheim om “benchmarkvervuiling” te beperken.
Lees ook: Grok 4.5 daagt OpenAI en Anthropic uit met goedkopere agentische AI
Musk’ gedurfde claim
Volgens Artificial Analysis gebruikte Grok 4.5 ongeveer 8.000 outputtokens per taak, grofweg een kwart van het verbruik van Opus 4.8. “Het totale tokenverbruik van 0,44 miljoen per taak is een van de laagste op het leaderboard,” aldus het bureau, dat de lage kosten toeschrijft aan zowel efficiëntie als scherpere tokenprijzen.
Het model wist 79,9% van de taakdoelstellingen te behalen en rondde 21,9% van alle taken volledig succesvol af. In de financiële categorie — veruit het moeilijkste domein van de benchmark — lag Grok 4.5 met 71% aan kop, tegenover 64% voor Fable 5 en 62% voor Opus 4.8.
De achilleshiel is naleving. Grok 4.5 noteerde gemiddeld 0,63 guardrail-overtredingen per taak, meer dan Opus 4.8 met 0,55 en Google’s Gemini 3.5 Flash met 0,46. Dat verschil weegt zwaar voor ondernemingen die agents dicht tegen live financiële systemen inzetten.
Musk presenteerde de lancering nadrukkelijk als een praktische afruil, niet als een onbetwiste benchmarkoverwinning. Grok 4.5 beschikt nu over externe onderbouwing voor zijn kosten- en snelheidsvoordeel, maar de hogere overtredingsgraad onderstreept waarom grootschalige adoptie in de zakelijke markt uiteindelijk zal draaien om betrouwbaarheid.
Lees verder: Bitcoin’s herstel kampt met een vraagprobleem dat bulls niet mogen negeren