Claude Fable 5 编码分数暴跌暴露路由器问题,而非模型退化

Claude Fable 5 编码分数暴跌暴露路由器问题,而非模型退化

Claude Fable 5 于 7 月 1 日回归,伴随用户尖锐的抱怨,但基准数据指向的是更严格的 Anthropic 路由器,而不是模型本身变弱。

要点概览:

  • BridgeBench 报告称,在大部分调试任务被路由走之后,Fable 5 的编码得分出现“崩塌”。
  • Arena.AI 发现,盲测的人类偏好结果整体保持稳定,在文档和专家文本等类别中甚至有提升。
  • 开发者受到的冲击最明显,因为常规的调试提示就可能触发新的分类器。

Fable 5 路由

Claude Fable 5 在 7 月 1 日重新上线后,X 平台上的用户很快把它形容为“坏掉”“被削弱”或“不如从前”。支持这一观点的最有力证据来自 BridgeMind,该团队对回归版本重新跑了一遍 BridgeBench 编码测试套件。

结果看起来相当严重:调试分数从 86.2 跌到 25.9,重构从 73.6 降到 38.4,抗幻觉能力从 75.9 降到 61.7。

这些数字并不能说明是“纯粹的模型级崩塌”,因为 BridgeBench 表示,在 12 个 TypeScript 调试任务中,真正送达到 Fable 5 的只有 3 个。其余 9 个被 Anthropic 的新安全分类器拦截并改送至 Claude Opus 4.8;由于被评估的模型没有作答,这些回退结果都被记为 0 分。

延伸阅读:Strategy 的 491 枚 BTC 之谜再度点燃对 Saylor 卖币策略的争论

Anthropic 分类器

Arena.AI 则得出了不同的结论,因为它衡量的是在更广泛提示组合上的盲测人类偏好,包括文本、视觉、文档、代码和智能体任务等。其早期数据显示,相比 6 月版本,Fable 5 整体表现大体持平。

前端代码的 Elo 得分从 1650 略降到 1623,Arena 表示这仍在置信区间内,后续投票还在累积中。文档任务表现提升了 34 分,专家文本提升 25 分,创意写作增加 9 分。

这种“分裂”表明,只要提示能真正路由到 Fable 5,它基本仍然是原来的 Fable 5。问题在于,只要沾边安全的编码工作,可能在模型响应之前就被拦截,尤其是当提示中包含“vulnerability(漏洞)”“exploit(利用)”“hook”或“fix(修复)”等词汇时。

Anthropic 已经承认,新分类器在普通编码和调试任务上会产生误报。公司表示会随着时间推移不断优化这一系统,但尚未给出目标日期。

当前的设置源于更大范围的一场安全争议——此前 Amazon 研究人员报告了一种越狱方法,能让 Fable 5 识别并演示软件漏洞。Anthropic 的回应是上线一个相当保守的分类器,而它现在看起来拦截的内容已经超出了当初设想中那些真正危险的提示。

下篇阅读:Trump 称自己并不知情 14 亿美元加密收入

免责声明和风险警告: 本文提供的信息仅用于教育和信息目的,基于作者的意见。它不构成财务、投资、法律或税务建议。 加密货币资产具有高度波动性并面临高风险,包括失去全部或大部分投资的风险。交易或持有加密资产可能不适合所有投资者。 本文表达的观点仅为作者的观点,不代表Yellow、其创始人或高管的官方政策或立场。 在做出任何投资决定之前,请务必进行自己的全面研究(D.Y.O.R.)并咨询持牌金融专业人士。
Claude Fable 5 编码分数暴跌暴露路由器问题,而非模型退化 | Yellow.com