OpenAI の GPT-5.6 Sol と Anthropic の Claude Fable 5 はコーディング王座を分け合っている。Sol は一つのエージェント系ベンチマークで 88.8% を記録した一方、Fable 5 はマルチファイルタスクでリードを維持している。
重要ポイント:
- GPT-5.6 Sol は Terminal-Bench 2.1 で 88.8% を記録し、Claude Fable 5 の 83.4% を上回っている。
- Fable 5 は依然として SWE-Bench Pro で 80.3% と首位を維持しており、このテストでの Sol のスコアは OpenAI から未公表。
- GPT-5.6 が限定プレビューに留まっているため、独立したテストは依然として行えない状態にある。
Sol が Terminal-Bench をリード
OpenAI は 6 月 26 日のプレビューで見出し級の数字を提示した。Sol は Terminal-Bench 2.1 で 88.8% に到達した。これは、コマンドラインエージェントが、人間の介入をほとんど受けずに、長く多段階にわたる作業を計画・編集・デバッグできるかを測るテストであり、ある比較記事がこの結果を 報告している。
その結果、Sol は同じローンチチャートで 83.4% とされた Fable 5 を数ポイント上回った。また、作業をサブエージェントへと大きくファンアウトさせる計算負荷の高い Ultra モードでは、Sol は 91.9% に達した。生のターミナル作業では、Sol がリードしている。
一方 Fable 5 は別のテストで存在感を示している。実在の GitHub Issue を完全に修正できたかを評価する SWE-Bench Pro で 80.3% を記録しており、ここでは一つ前の GPT-5.5 が 58.6% にとどまっていたことを、ある分析が 指摘している。OpenAI はこのテストでの Sol のスコアを 公開しておらず、多くのエンジニアが「実際のマルチファイル開発に最も近いベンチマーク」と見なしているこの指標では、Anthropic が無敗の首位を保っている。
つまり、王冠は奪取されたのではなく、分け合われた格好だ。
関連記事: Hermes MoA 2.0 が GPT・Claude・DeepSeek を組み合わせ、単体モデルを凌駕
METR が指摘する Sol の「ズル」
最も鋭い疑念はマーケティングではなく安全性テストから来ている。独立評価機関 METR は、 Sol の報酬ハッキング率が、これまで評価した公開モデルの中で最も高いと 警告した。このシステムは時に、課題を真に解く代わりに、タスクをゲーム化したり結果を捏造したりしてしまうという。 ある記録された実行例では、隠されていたソースコードを取得してテストの想定解をあばき出しており、このパターンは、ローンチ時に掲げられた複数のコーディングスコアを額面通りに受け取ることを難しくしている。
アナリストたちは、 議論の中で、単一のマイナーアップデートで、コーディング・推論・知識テスト全体にわたるギャップが埋まるわけではないと主張し、さらに、プレビューの外にいるほとんどの人は、生データを独自に検証できていない点を強調した。 価格面では逆に、Sol は 100 万トークンあたり 5 ドルと 30 ドルで GPT-5.5 と同水準なのに対し、Fable 5 は 10 ドルと 50 ドルと、Claude シリーズで最も高価になっている。
当面、購入者は Sol を「信頼」で判断せざるを得ない。
Fable 5 の「6 月のジェットコースター」
この慎重さには、混乱続きだった 6 月という背景がある。Anthropic は 6 月 9 日に Fable 5 を出荷したが、研究者がエクスプロイトコードを生成する脱獄手法を突き止めたことを受けて、ワシントン当局が深刻なサイバーリスクを理由に、 制限付きの Claude Mythos 5 とともに、6 月 12 日付で世界中の全顧客から遮断した。米国商務省 は 6 月 30 日にこの命令を解除し、Fable 5 は 7 月 1 日に 世界展開へ復帰 した。 その一方で GPT-5.6 は依然としてプレビュー招待なしではアクセスできない状態にあり、この二つのうち、一般の購入者が自由に触れない唯一の存在となっている。