Grok 4.5 liefert Elon Musk neue Argumente für sein Kosten‑/Leistungsversprechen: Ein unabhängiger Agenten‑Benchmark sieht das Modell an der Spitze.
Wichtigste Punkte:
- Grok 4.5 erzielte 51,4 % im AutomationBench-AA und lag damit vor zwei Claude-Modellen.
- Die Kosten pro Aufgabe lagen bei 0,34 US‑Dollar – deutlich unter den engsten Anthropic-Konkurrenten.
- Die höhere Quote an Regelverstößen bleibt ein Risiko für den Einsatz von Agenten in Unternehmen.
Grok im Benchmark
Artificial Analysis meldet, dass Grok 4.5 im AutomationBench-AA 51,4 % erreichte – vor Claude Fable 5 mit 48,6 % und Claude Opus 4.8 mit 48,5 %. Gleichzeitig lag der Preis pro Aufgabe bei nur 0,34 US‑Dollar, während Fable 5 mit 1,35 US‑Dollar und Opus 4.8 mit 1,46 US‑Dollar deutlich teurer waren.
Der Benchmark liefert damit einen externen Belastungstest für Musks Behauptung, Grok 4.5 sei ein Opus‑Klassiker, der schneller laufe und weniger koste. SpaceXAI hat das Modell in dieser Woche breit verfügbar gemacht – auf Basis eines V9‑Grundmodells mit 1,5 Billionen Parametern und frühen internen Auswertungen zur Flankierung des Starts.
AutomationBench-AA umfasst 657 Aufgaben in 40 simulierten Anwendungen, darunter Gmail, Slack, Salesforce und HubSpot. Getestet wird, ob ein KI‑Agent Ziele erreicht, ohne Schutzmechanismen zu verletzen. Artificial Analysis hält den vollständigen Aufgabenkatalog unter Verschluss, um Benchmark‑Verzerrungen zu vermeiden.
Auch interessant: Grok 4.5 fordert OpenAI und Anthropic mit günstigeren Agenten-AI heraus
Musks gewagte These
Laut Artificial Analysis verbrauchte Grok 4.5 rund 8.000 Ausgabetoken pro Aufgabe – etwa ein Viertel des Bedarfs von Opus 4.8. „Mit einem gesamten Tokenverbrauch von 0,44 Mio. pro Aufgabe liegt das Modell am unteren Ende der Rangliste“, so das Unternehmen. Die niedrigen Kosten seien eine Folge sowohl der Effizienz als auch der Tokenpreisgestaltung.
Grok 4.5 erfüllte 79,9 % der Teilziele und bestand 21,9 % der Aufgaben vollständig. Im Bereich Finanzen – dem anspruchsvollsten Segment des Benchmarks – lag Grok 4.5 mit 71 % vorne, verglichen mit 64 % für Fable 5 und 62 % für Opus 4.8.
Die Schwachstelle ist die Compliance. Grok 4.5 kam auf 0,63 Guardrail‑Verstöße pro Aufgabe, mehr als Opus 4.8 mit 0,55 und Google Gemini 3.5 Flash mit 0,46. Diese Differenz ist entscheidend für Unternehmen, die Agenten in der Nähe produktiver Finanzsysteme einsetzen wollen.
Musks Produktstory setzt daher weniger auf einen makellosen Testsieg, sondern auf einen pragmatischen Trade‑off. Grok 4.5 verfügt nun über externe Belege für Kostenvorteile und Geschwindigkeit, doch die höhere Regelverletzungsquote zeigt, warum der großflächige Unternehmenseinsatz weiterhin an strenge Anforderungen an Zuverlässigkeit und Governance geknüpft bleibt.
Als Nächstes lesen: Bitcoin-Erholung leidet unter Nachfragelücke, die Bullen nicht ignorieren können