Grok 4.5が独立系ベンチマークで首位を獲得し、イーロン・マスク氏が掲げる「高性能かつ低コスト」という主張に新たな裏付けを与えた。
注目ポイント
- Grok 4.5はAutomationBench-AAで51.4％を記録し、2つのClaudeモデルを上回った。
- 1タスク当たりのコストは0.34ドルと、Anthropicの競合モデルより大幅に安価だった。
- 一方でルール違反率が高く、エンタープライズ向けエージェント導入にはリスクが残る。
Grokのベンチマーク結果
調査会社Artificial Analysisはレポートで、Grok 4.5がAutomationBench-AAにおいて51.4％を記録し、Claude Fable 5の48.6％、Claude Opus 4.8の48.5％を上回ったと明らかにした。1タスク当たりの推定コストは0.34ドルで、Fable 5の1.35ドル、Opus 4.8の1.46ドルを大きく下回る。
この結果により、「Grok 4.5はOpusクラスの性能を持ち、より高速かつ低コストで動作する」というマスク氏の主張に、第三者による検証データが加わったかたちだ。SpaceXAIは今週、約1.5兆パラメータのV9基盤モデルと社内評価をベースにGrok 4.5を一般公開した。
AutomationBench-AAは、Gmail、Slack、Salesforce、HubSpotなど40種のシミュレートされたアプリ上で、657のタスクを通じてエージェント性能を測定する。評価は、AIエージェントがガードレール（安全・コンプライアンス上の制約）を破ることなく、どこまで目標を達成できるかを重視しており、Artificial Analysisはベンチマーク汚染を避けるためタスク内容を非公開としている。
関連記事: Grok 4.5が安価なエージェントAIでOpenAIとAnthropicに挑戦
マスク氏の「大胆な主張」を検証
Artificial Analysisによると、Grok 4.5は1タスクあたり出力トークン数が約8,000と、Opus 4.8のおよそ4分の1にとどまった。「1タスク当たりの総トークン使用量は0.44Mで、リーダーボードの中でも最も低い水準にある」と同社は指摘し、低コストの背景にはモデルの効率性とトークンプライシングの両方があると分析している。
成果指標を見ると、Grok 4.5はタスク目的の79.9％を達成し、そのうち21.9％のタスクで完全な成功を収めた。最も難度が高いとされる金融ドメインでは、Grok 4.5が71％とトップで、Fable 5の64％、Opus 4.8の62％を上回った。
一方で弱点はコンプライアンスだ。Grok 4.5は1タスクあたり平均0.63件のガードレール違反を記録し、Opus 4.8の0.55件やGoogleのGemini 3.5 Flashの0.46件を上回った。実運用の金融システム周辺でエージェントを活用する企業にとって、この差は無視できない。
マスク氏はローンチ時のメッセージで、「すべてのベンチマークを圧倒する」というよりも、コスト・速度・性能の実務的なトレードオフに焦点を当てていた。今回の評価でGrok 4.5は価格と処理効率の優位性について外部検証を得たものの、ガードレール違反の多さが示す通り、大企業による本格採用の鍵を握るのは、依然として信頼性と運用上の安全性になりそうだ。