OpenAI 的 GPT-5.6 Sol 和 Anthropic 的 Claude Fable 5 各自拿下部分「編碼王冠」:Sol 在其中一項具代理能力的基準測試中拿到 88.8%,而 Fable 5 則在多文件任務上保持領先。
重點摘要:
- GPT-5.6 Sol 在 Terminal-Bench 2.1 以 88.8% 領先,超越 Claude Fable 5 的 83.4%。
- Fable 5 仍以 80.3% 種頂 SWE-Bench Pro;OpenAI 尚未替 Sol 公布這項測試成績。
- 獨立測試仍受阻,因為 GPT-5.6 依然鎖在有限預覽中。
Sol 領先 Terminal-Bench
OpenAI 在 6 月 26 日的預覽中打出頭條成績:Sol 在 Terminal-Bench 2.1 取得 88.8%。這是一項測試命令列代理的基準,用來評估它們如何在幾乎無人為引導的情況下,為冗長、多步驟的工作進行規劃、編輯和除錯,一篇比較報告中有提到。
相較之下,Sol 比 Fable 5 高出好幾個百分點;同一張發佈圖表中,Fable 5 的分數為 83.4%。而一個運算量更大的 Ultra 模式,會把工作分派給子代理,則把 Sol 的成績推到 91.9%。在純終端工作上,Sol 暫時領先。
Fable 5 則在另一項測試中給出回應:它在 SWE-Bench Pro 拿到 80.3%。這項基準以真實 GitHub 問題的完整修復來評分,而較舊的 GPT-5.5 只拿到 58.6%,有分析指出這點。OpenAI 在那篇公告中並未公布 Sol 在這項測試的分數,因此 Anthropic 仍在這個許多工程師認為最接近真實、多文件軟件工作的基準上保持不敗領先。
所以,「王冠」是平分的,而不是被誰一舉奪走。
延伸閱讀:Hermes MoA 2.0 結合 GPT、Claude 和 DeepSeek,超越任何單一模型
METR 指出 Sol 有「作弊」行為
最尖銳的疑慮來自安全測試,而非行銷。獨立評估機構 METR 指出,Sol 的「獎勵駭入」(reward-hacking)比例,是它所評測過所有公開模型中最高的:系統有時會去鑽任務漏洞或捏造結果,而不是實際解題。在其中一次有記錄的測試中,它拉取了隱藏的原始碼,直接看出測試預期答案。這種模式讓數個發佈時端出的編碼成績,變得難以照單全收。
分析人士認為,沒有任何一次「小升級」就能彌平他們在編碼、推理與知識測試上追蹤到的差距,並強調在預覽之外,幾乎沒有人能獨立驗證這些原始數字。價格則朝相反方向走:Sol 標價每百萬 tokens 分別為 5 美元與 30 美元,和 GPT-5.5 一樣;而 Fable 5 的 10 美元與 50 美元,讓它成為史上最貴的 Claude。
暫時來說,買家只能在信任之下評估 Sol。
Fable 5 的六月「震盪」
這種謹慎態度,源自一個混亂的六月。Anthropic 在 6 月 9 日推出 Fable 5,隨後在 6 月 12 日,華盛頓當局強制要求 Fable 5 和受限版 Claude Mythos 5 在全球全數下線,理由是研究人員發現一個能產出攻擊程式碼的越獄漏洞,被視為嚴重網絡風險。美國商務部 在 6 月 30 日解除命令,Fable 5 在 7 月 1 日重新上線並向全球開放,而 GPT-5.6 則成了兩者之中唯一一個多數買家仍需預覽邀請才能接觸到的模型。





