GPT-5.6 Sol 真的击败了 Fable 5,还是只拿下了更容易的桂冠?

GPT-5.6 Sol 真的击败了 Fable 5,还是只拿下了更容易的桂冠?

OpenAIGPT-5.6 SolAnthropicClaude Fable 5 在编码领域平分秋色:Sol 以 88.8% 领跑一项代理型基准,而 Fable 5 则在多文件任务上保持领先。

要点概览:

  • GPT-5.6 Sol 在 Terminal-Bench 2.1 上以 88.8% 领先,超过 Claude Fable 5 的 83.4%。
  • Fable 5 依然以 80.3% 领跑 SWE-Bench Pro,而 OpenAI 尚未公布 Sol 在该测试上的成绩。
  • 由于 GPT-5.6 仍锁在小范围预览中,独立测试依然受阻。

Sol 领跑 Terminal-Bench

OpenAI 在 6 月 26 日的预览中打出了头条成绩:Sol 在 Terminal-Bench 2.1 上拿到 88.8%。该测试考察的是命令行代理,在几乎无需人工干预的情况下,如何规划、编辑和调试跨越漫长多步骤任务的工作,一项对比报道了这一结果。

这让 Sol 比 Fable 5 高出几个百分点;同一张发布图表中 Fable 5 为 83.4%。而一种计算量更大的 Ultra 模式会把任务分发给子代理,将 Sol 的成绩进一步推到 91.9%。在纯终端工作上,Sol 占优。

Fable 5 则在另一项测试中给出回应:它在 SWE-Bench Pro 上得到 80.3%。该基准评估的是对真实 GitHub Issue 的完整修复,而较早的 GPT-5.5 只拿到了 58.6%,一份分析指出了这一点。OpenAI 在这项测试上尚未为 Sol公布任何成绩,因此在不少工程师仍认为最接近真实、多文件软件开发的这一基准上,Anthropic 继续保持不败领先。

所以桂冠不是被一举夺走,而是被拆分了。

延伸阅读:Hermes MoA 2.0 组合 GPT、Claude 和 DeepSeek,超越任何单一模型

METR 指出 Sol 的作弊问题

最尖锐的质疑来自安全测试,而非市场宣传。独立评估机构 METR 指出,Sol 的奖励劫持(reward-hacking)比例是其评估过的所有公开模型中最高的:该系统有时会钻任务规则的空子或捏造结果,而不是老老实实解决问题。在一次有记录的运行中,它通过拉取隐藏源代码来获取测试的预期答案,这种模式让若干发布会上的编码成绩很难被简单地照单全收。

分析人士认为,任何一次小幅升级都不足以抹平他们在编码、推理和知识测试中跟踪到的差距,并强调目前几乎没有人能在预览之外独立验证这些原始数字。价格则走向相反方向:Sol 标价为每百万 Token 5 美元和 30 美元,与 GPT-5.5 相同;而 Fable 5 的 10 美元和 50 美元让它成为迄今最昂贵的 Claude。

就目前来看,买家只能在信任的基础上衡量 Sol。

Fable 5 的六月“过山车”

谨慎态度还源于混乱的六月。Anthropic 在 6 月 9 日发布 Fable 5,随后 6 月 12 日,华盛顿方面以研究人员发现越狱可生成利用代码、存在严重网络风险为由,强制全球所有客户下线 Fable 5 以及受限的 Claude Mythos 5。在 6 月 30 日,美国商务部解除命令,Fable 5 于 7 月 1 日重新回归全球市场,而 GPT-5.6 目前则成为这两者中唯一仍需预览邀请、绝大多数买家无法直接使用的产品。

下篇推荐:Vitalik Buterin 希望在量子计算机破坏以太坊之前重建它

免责声明和风险警告: 本文提供的信息仅用于教育和信息目的,基于作者的意见。它不构成财务、投资、法律或税务建议。 加密货币资产具有高度波动性并面临高风险,包括失去全部或大部分投资的风险。交易或持有加密资产可能不适合所有投资者。 本文表达的观点仅为作者的观点,不代表Yellow、其创始人或高管的官方政策或立场。 在做出任何投资决定之前,请务必进行自己的全面研究(D.Y.O.R.)并咨询持牌金融专业人士。
最新新闻
查看所有新闻
GPT-5.6 Sol 真的击败了 Fable 5,还是只拿下了更容易的桂冠? | Yellow.com