Grok 4.5 dostarczył nowego argumentu na rzecz tezy Elona Muska o relacji koszt–wydajność. W niezależnym benchmarku agentów model zajął pierwsze miejsce.
Najważniejsze informacje:
- Grok 4.5 uzyskał 51,4% w teście AutomationBench-AA, wyprzedzając dwa modele Claude.
- Koszt wykonania pojedynczego zadania wyniósł 0,34 dolara, znacząco mniej niż w przypadku najbliższych konkurentów Anthropic.
- Wyższy odsetek naruszeń zasad bezpieczeństwa pozostaje istotnym ryzykiem przy wdrażaniu agentów w środowiskach korporacyjnych.
Benchmark Groka
Artificial Analysis poinformowała, że Grok 4.5 osiągnął 51,4% w AutomationBench-AA, wyprzedzając Claude Fable 5 z wynikiem 48,6% oraz Claude Opus 4.8 z 48,5%. Koszt realizacji zadania przez Groka wyniósł 0,34 dolara, wobec 1,35 dolara dla Fable 5 i 1,46 dolara dla Opus 4.8.
Benchmark zapewnia zewnętrzną weryfikację tezy Muska, że Grok 4.5 to model klasy Opus, ale szybszy i tańszy w użyciu. SpaceXAI udostępnił model komercyjnie w tym tygodniu, opierając się na bazowym modelu V9 z 1,5 bln parametrów oraz wstępnych wewnętrznych testach.
AutomationBench-AA obejmuje 657 zadań w 40 symulowanych aplikacjach, m.in. Gmail, Slack, Salesforce i HubSpot. Test sprawdza, czy agent AI potrafi zrealizować zadania, nie naruszając przy tym reguł bezpieczeństwa. Artificial Analysis utrzymuje zestaw zadań w tajemnicy, by ograniczyć tzw. skażenie benchmarku.
Zobacz też: Grok 4.5 rzuca wyzwanie OpenAI i Anthropic, oferując tańsze agentowe AI
Odważna teza Muska
Według Artificial Analysis Grok 4.5 generował ok. 8 000 tokenów wyjściowych na zadanie, czyli mniej więcej jedną czwartą zużycia Opus 4.8. „Łączne użycie tokenów na poziomie 0,44 mln na zadanie jest jednym z najniższych w całym zestawieniu” – podała firma, dodając, że niskie koszty wynikają zarówno z efektywności, jak i samej wyceny tokenów.
Model zrealizował 79,9% celów zadań i całkowicie zaliczył 21,9% wszystkich przypadków testowych. W finansach – najtrudniejszej domenie benchmarku – Grok 4.5 był liderem z wynikiem 71%, przy 64% dla Fable 5 i 62% dla Opus 4.8.
Słabością pozostaje zgodność z zasadami. Grok 4.5 zanotował średnio 0,63 naruszenia guardrail na zadanie, wobec 0,55 dla Opus 4.8 i 0,46 dla Gemini 3.5 Flash od Google. Ta różnica ma znaczenie dla firm korzystających z agentów w pobliżu działających systemów finansowych.
Musk, prezentując premierę, podkreślał raczej praktyczny kompromis niż „czyste” zwycięstwo w benchmarkach. Grok 4.5 zyskał teraz zewnętrzne potwierdzenie przewagi kosztowej i szybkości, ale wyższy poziom naruszeń zasad pokazuje, dlaczego adopcja w segmencie enterprise nadal będzie uzależniona od niezawodności.
Czytaj dalej: Bitcoinowe odbicie ma problem z popytem, którego byki nie mogą ignorować