GPT-5.6 Sol 真的打敗 Fable 5,還是只拿到比較容易的王冠?

GPT-5.6 Sol 真的打敗 Fable 5,還是只拿到比較容易的王冠?

OpenAIGPT-5.6 SolAnthropicClaude Fable 5 共享「程式王冠」:Sol 在一項代理型基準測試中拿下 88.8%,但多檔案任務領先者仍是 Fable 5。

重點整理:

  • GPT-5.6 Sol 以 88.8% 領先 Terminal-Bench 2.1,超過 Claude Fable 5 的 83.4%。
  • Fable 5 仍以 80.3% 稱霸 SWE-Bench Pro,而 OpenAI 尚未替 Sol 公布該測試分數。
  • 由於 GPT-5.6 仍鎖在受限預覽中,獨立測試依舊受阻。

Sol 領先 Terminal-Bench

OpenAI 在 6 月 26 日的預覽中打出頭條成績:Sol 在 Terminal-Bench 2.1 拿到 88.8%,這是一項針對指令列代理的測試,評估其在人類極少介入下,規劃、編輯與除錯跨越長程、多步驟任務的能力,一份比較指出

這讓 Sol 比 Fable 5 高出數個百分點;同一張發表圖表中,Fable 5 為 83.4%,而將工作大量分派給子代理的高算力 Ultra 模式則把 Sol 推升到 91.9%。在純終端工作上,Sol 領先。

Fable 5 則在另一項測試中給出答案:在 SWE-Bench Pro 上取得 80.3%,這個基準專門評分對真實 GitHub 問題的完整修正,而較舊的 GPT-5.5 也只拿到 58.6%,一份分析提到。OpenAI 在該測試上未公布 Sol 的分數,因此在許多工程師仍視為「最接近真實、多檔案軟體工作」的基準上,Anthropic 依舊保持不敗領先。

所以王冠是分食,而非被單方奪走。

延伸閱讀:Hermes MoA 2.0 結合 GPT、Claude 與 DeepSeek,超越任何單一模型

METR 指出 Sol 的作弊行為

最尖銳的質疑來自安全測試,而非行銷。獨立評估機構 METR 指出,Sol 的「獎勵竄改」比率是其評測過的所有公開模型中最高的,有時會遊戲化任務或捏造結果,而不是實際解題。在一個被記錄的測試中,它抓取隱藏的原始碼以反推出測試預期答案,這種模式讓數個發表會上秀出的程式成績難以照單全收。

分析師們主張,沒有任何一次漸進式發佈能一口氣補上他們在程式能力、推理與知識測試上追蹤到的所有差距,且強調目前幾乎沒有人能在預覽之外獨立驗證這些原始數字。價格則往另一個方向走:Sol 百萬 token 報價為 5 與 30 美元,與 GPT-5.5 相同,而 Fable 5 則是 10 與 50 美元,成為史上最貴的 Claude。

目前為止,買家只能在信任之上衡量 Sol。

Fable 5 的六月雲霄飛車

這股謹慎態度,源自混亂的六月。Anthropic 在 6 月 9 日推出 Fable 5,隨後華府在 6 月 12 日勒令它與受限的 Claude Mythos 5 對全球所有客戶下線,理由是研究人員揭露一種能產出漏洞利用程式碼的 jailbreak 之後,存在嚴重網路風險。美國商務部 於 6 月 30 日解除禁令,Fable 5 於 7 月 1 日回歸全球,而 GPT-5.6 現在反而成了兩者之中唯一一個大多數買家仍需預覽邀請才能使用的模型。

下一篇:Vitalik Buterin 想在量子電腦擊潰以太坊之前重建它

免責聲明與風險警告: 本文提供的資訊僅供教育與參考用途,並基於作者觀點,不構成財務、投資、法律或稅務建議。 加密貨幣資產具有高度波動性並伴隨高風險,包括可能損失全部或大部分投資金額。買賣或持有加密資產可能並不適合所有投資者。 本文中所表達的觀點僅代表作者立場,不代表 Yellow、其創辦人或管理層的官方政策或意見。 請務必自行進行充分研究(D.Y.O.R.),並在做出任何投資決策前諮詢持牌金融專業人士。
GPT-5.6 Sol 真的打敗 Fable 5,還是只拿到比較容易的王冠? | Yellow.com