Grok 4.5 liefert Elon Musk neue Munition für seine Kosten‑ und Performance-Argumente: In einem unabhängigen Agenten-Benchmark setzte sich das Modell an die Spitze.
Zentrale Punkte:
- Grok 4.5 erreicht 51,4 % auf AutomationBench-AA und liegt damit vor zwei Claude-Modellen.
- Die Kosten pro Aufgabe liegen bei 0,34 US‑Dollar und damit deutlich unter denen der Anthropic-Konkurrenz.
- Die höhere Rate an Regelverstößen bleibt ein Risiko für Agenten im Unternehmenseinsatz.
Grok im Benchmark
Artificial Analysis meldet, dass Grok 4.5 auf AutomationBench-AA 51,4 % erzielt – vor Claude Fable 5 mit 48,6 % und Claude Opus 4.8 mit 48,5 %. Gleichzeitig kostet Grok 4.5 nur 0,34 US‑Dollar pro Aufgabe, weit unter Fable 5 mit 1,35 US‑Dollar und Opus 4.8 mit 1,46 US‑Dollar.
Der Benchmark liefert eine unabhängige Überprüfung von Musks Behauptung, Grok 4.5 sei ein Opus‑Klasse‑Modell, das schneller läuft und weniger kostet. SpaceXAI hat das Modell in dieser Woche öffentlich zugänglich gemacht – auf Basis eines V9-Foundation-Modells mit 1,5 Billionen Parametern und frühen internen Tests als Verkaufsunterlage.
AutomationBench-AA umfasst 657 Aufgaben über 40 simulierte Anwendungen, darunter Gmail, Slack, Salesforce und HubSpot. Getestet wird, ob ein KI-Agent Ziele erreicht, ohne Sicherheitsvorgaben zu verletzen. Artificial Analysis hält den vollständigen Aufgabensatz unter Verschluss, um Benchmark-Verzerrungen zu vermeiden.
Auch interessant: Grok 4.5 Challenges OpenAI And Anthropic With Cheaper Agentic AI
Musks gewagte These
Artificial Analysis zufolge nutzte Grok 4.5 im Schnitt rund 8.000 Ausgabetoken pro Aufgabe – etwa ein Viertel des Volumens von Opus 4.8. „Mit insgesamt 0,44 Millionen Token pro Aufgabe gehört es zu den sparsamsten Modellen im Ranking“, so die Analysten. Der Kostenvorteil resultiere aus höherer Effizienz und dem Token-Preismodell.
Das Modell erfüllte 79,9 % der angestrebten Teilziele und schloss 21,9 % der Aufgaben vollständig ab. Im Bereich Finanzanwendungen – der schwierigsten Domäne des Benchmarks – lag Grok 4.5 mit 71 % vorn, vor 64 % für Fable 5 und 62 % für Opus 4.8.
Die Schwachstelle liegt in der Compliance. Grok 4.5 verzeichnete im Schnitt 0,63 Guardrail-Verstöße pro Aufgabe, mehr als Opus 4.8 mit 0,55 und Googles Gemini 3.5 Flash mit 0,46. Diese Differenz ist insbesondere für Unternehmen relevant, die Agenten nahe an produktiven Finanzsystemen einsetzen wollen.
Musks Markteinführung zielt damit eher auf einen pragmatischen Trade-off als auf einen sauberen Durchmarsch in allen Kennzahlen. Grok 4.5 verfügt nun über unabhängige Belege für Kosten- und Geschwindigkeitsvorteile, doch die höhere Verstoßquote zeigt, warum der breite Unternehmenseinsatz weiterhin an der Zuverlässigkeit hängen wird.
Weiterlesen: Bitcoin’s Recovery Has A Demand Problem Bulls Cannot Ignore