Grok 4.5が独立系ベンチマークで首位を獲得し、イーロン・マスク氏が掲げる「高性能かつ低コスト」という主張に新たな裏付けを与えた。
主なポイント
- Grok 4.5はAutomationBench-AAで51.4％を記録し、2つのClaudeモデルを上回った。
- 1タスク当たりの推定コストは0.34ドルと、Anthropicの競合モデルより大幅に低い。
- 一方でガードレール違反率は高く、エンタープライズ向けエージェント導入にはリスクも残る。
Grokのベンチマーク結果
調査会社Artificial Analysisはレポートで、Grok 4.5がAutomationBench-AAにおいて51.4％のスコアを記録し、Claude Fable 5の48.6％、Claude Opus 4.8の48.5％をわずかに上回ったと報告した。
コスト面でもGrok 4.5は1タスク当たり0.34ドルと、Fable 5の1.35ドル、Opus 4.8の1.46ドルを大きく下回った。
この結果は、Grok 4.5が「Opus級の性能を持ちながら、より高速かつ低コストで動作する」というマスク氏の主張に対し、第三者による検証材料を提供した形だ。SpaceXAIは今週、1.5兆パラメータのV9基盤モデルと社内評価を軸にGrok 4.5を一般公開している。
AutomationBench-AAは、Gmail、Slack、Salesforce、HubSpotなど40種類のシミュレーションアプリ上で657のタスクを実行し、AIエージェントがガードレールを破らずに目標を達成できるかを検証する仕組みだ。Artificial Analysisはベンチマーク汚染を防ぐため、タスク内容を非公開としている。
関連記事: Grok 4.5、低コストのエージェントAIでOpenAIとAnthropicに挑む
マスク氏の「大胆な主張」の中身
Artificial Analysisによると、Grok 4.5は1タスク当たり約8,000トークンの出力で、Opus 4.8のおよそ4分の1にとどまったという。同社は「1タスク当たりの総トークン数は0.44Mと、リーダーボードでも最小水準」と指摘し、低コストはモデル効率とトークン単価の組み合わせによるものだと分析した。
タスク達成度を見ると、Grok 4.5は全目標の79.9％を「達成」、タスク全体の21.9％を「完全成功」と判定された。
なかでも最難関とされる金融ドメインでは71％とトップで、Fable 5の64％、Opus 4.8の62％を上回った。
一方で弱点となったのがコンプライアンスだ。Grok 4.5のガードレール違反は1タスク当たり0.63件と、Opus 4.8の0.55件やGoogleのGemini 3.5 Flashの0.46件を上回った。実運用の金融システム周辺でエージェントを使う企業にとっては、看過しにくい差である。
マスク氏のローンチメッセージは、ベンチマークでの「完全勝利」ではなく、あくまで実務上のトレードオフを前面に出したものだ。
Grok 4.5はコストと速度面で第三者評価を得た一方、ガードレール違反率の高さは、エンタープライズ導入が最終的に「信頼性」をどう評価するかに左右されることを改めて示している。