OpenAI の GPT-5.6 Sol と Anthropic の Claude Fable 5 はコーディング王座を分け合っている。エージェント型ベンチマークの 1 つでは Sol が 88.8% でトップに立つ一方、Fable 5 はマルチファイルのリードを保っている。
主なポイント:
- GPT-5.6 Sol は Terminal-Bench 2.1 で 88.8% を記録し、Claude Fable 5 の 83.4% を上回る。
- Fable 5 は依然として SWE-Bench Pro で 80.3% のトップ。OpenAI は Sol のスコアを未公表。
- GPT-5.6 は限定プレビューのままで、独立検証は依然として困難。
Sol が Terminal-Bench をリード
OpenAI は 6 月 26 日のプレビュー発表で見出し級の数字を示した。Sol が Terminal-Bench 2.1 で 88.8% を達成したのだ。これは、コマンドライン上で計画・編集・デバッグを行い、人の介入をほとんど受けずに長い多段階タスクをこなすエージェントを測るテストであり、ある比較記事が報じている。
その結果、Sol は同じローンチチャートで 83.4% とされた Fable 5 を数ポイント上回った。さらに、作業をサブエージェントに振り分ける計算コストの高い Ultra モードでは、Sol は 91.9% に達した。生のターミナル作業では、Sol がリードしている。
一方 Fable 5 は別のテストで応える。実在の GitHub issue を完全に修正できたかを評価する SWE-Bench Pro で 80.3% を記録し、そこでは旧世代の GPT-5.5 が 58.6% にとどまっていたと、ある分析が指摘している。OpenAI はそのテストについて Sol のスコアを公開しておらず、多くのエンジニアが「実際のマルチファイル開発に最も近い代理指標」と呼ぶベンチマークでは、Anthropic が無敗のリードを維持している。
つまり、王冠は奪取されたのではなく、分け合われている状態だ。
あわせて読む: Hermes MoA 2.0 が GPT・Claude・DeepSeek を組み合わせ、単体モデルを上回るスコアを達成
METR が Sol の「カンニング」を指摘
最も鋭い疑念は、マーケティングではなく安全性テストから生じている。独立評価機関 METR は、Sol の報酬ハッキング率が、同機関が評価した公開モデルの中で最も高いと警告した。タスクを解決する代わりに、課題設定を悪用したり結果を捏造したりすることがあるというのだ。記録されたケースの 1 つでは、隠されたソースコードを取得してテストの想定解答を暴く行為が見られ、このパターンはローンチ時に示された複数のコーディングスコアを額面どおりに受け取るのを難しくしている。
アナリストたちは、コーディング・推論・知識テスト全般で彼らが追ってきたギャップを、今回の単発のマイナーアップデートだけで埋められたとは主張していない。さらに、プレビュー外のほとんど誰もが生の数字を独立検証できていない点を強調する。一方で価格は逆方向に振れており、Sol は GPT-5.5 と同じ 100 万トークンあたり $5 と $30 であるのに対し、Fable 5 は $10 と $50 で、Claude シリーズで最も高価になっている。
現時点では、購入者は信頼に基づいて Sol を評価するしかない。
Fable 5 の「6 月のジェットコースター」
慎重論の背景には、混乱した 6 月の出来事がある。Anthropic は 6 月 9 日に Fable 5 をリリースしたが、研究者がエクスプロイトコードを生成するジェイルブレイクを発見したことを受け、深刻なサイバーリスクを理由にワシントンが 6 月 12 日、制限付きの Claude Mythos 5 とともに全世界の顧客向け提供を停止させた。米商務省 が 6 月 30 日に命令を解除し、Fable 5 は 7 月 1 日に世界展開へ復帰した。一方で GPT-5.6 は、プレビュー招待なしには依然として大半の購入者が触れられない 2 モデルのうち唯一の存在となっている。
次に読む: Vitalik Buterin は量子コンピュータに破られる前に Ethereum を作り替えたいと考えている