Claude Fable 5 编码评分暴跌暴露路由器问题,而非模型退化

Claude Fable 5 编码评分暴跌暴露路由器问题,而非模型退化

Claude Fable 5 于 7 月 1 日重新上线 后,用户强烈抱怨表现变差,但基准数据表明,这是 Anthropic 更严格的路由策略在作祟,而不是模型变弱。

要点概览:

  • BridgeBench 报告称,在大部分调试任务被路由走之后,Fable 5 的编码得分出现“崩塌”。
  • Arena.AI 发现整体盲测人工偏好结果基本稳定,在文档与专家文本类别中甚至有提升。
  • 开发者受到的冲击最大,因为日常调试提示词现在更容易触发新的分类器。

Fable 5 路由情况

Claude Fable 5 在恢复服务后于 7 月 1 日重新上线,X 平台上的用户很快就把它形容为“坏掉了”“被削弱了”或“不如从前”。支撑这种观点的最有力证据来自 BridgeMind,该团队对恢复后的版本重新运行了 BridgeBench 编码测试套件。

结果看上去非常严重:调试任务得分从 86.2 掉到 25.9,重构从 73.6 掉到 38.4,抗幻觉能力从 75.9 降到 61.7。

这些数字并不能说明模型本身在整体层面“崩塌”,因为 BridgeBench 指出,在 12 个 TypeScript 调试任务中,只有 3 个真正送达了 Fable 5。其余 9 个被 Anthropic 新的安全分类器拦截并改发至 Claude Opus 4.8,而由于被评估的模型并未作答,这些回退样本全部被记为 0 分。

延伸阅读:Strategy 的 491 枚 BTC 之谜再点燃对 Saylor 套现策略的争论

Anthropic 分类器

Arena.AI 得出了不同结论,因为它评估的是在更广泛提示组合(文本、视觉、文档、代码和智能体任务)上的盲测人工偏好。其早期数据表明,相比 6 月版本,Fable 5 整体表现大致持平。

前端代码 Elo 从 1650 降到 1623。Arena 表示,在投票尚在累积的阶段,这一变化仍处于置信区间之内。文档表现提升了 34 分,专家文本提升 25 分,创意写作则增加 9 分。

这种分化说明,只要提示确实路由到 Fable 5,它依旧像之前的 Fable 5 那样工作。问题在于,只要是与安全略有沾边的编码工作,都可能在模型回应之前就被分流,尤其是当提示中包含“vulnerability(漏洞)”“exploit(利用)”“hook”或“fix(修复)”等词语时。

Anthropic 已经承认,新分类器在普通编码和调试任务上会产生误报。公司表示会随着时间推移不断优化这一系统,但尚未给出目标时间表。

目前的设置源于一场更大的安全争议:Amazon 研究人员此前报告了一种越狱方式,能诱导 Fable 5 识别并演示软件漏洞。Anthropic 的回应是部署一个更保守的分类器,而现在看来,它拦截的内容已经远远超出其原本要抓住的危险提示。

下篇阅读:Trump 称自己并不知情 14 亿美元加密收入

免责声明和风险警告: 本文提供的信息仅用于教育和信息目的,基于作者的意见。它不构成财务、投资、法律或税务建议。 加密货币资产具有高度波动性并面临高风险,包括失去全部或大部分投资的风险。交易或持有加密资产可能不适合所有投资者。 本文表达的观点仅为作者的观点,不代表Yellow、其创始人或高管的官方政策或立场。 在做出任何投资决定之前,请务必进行自己的全面研究(D.Y.O.R.)并咨询持牌金融专业人士。
Claude Fable 5 编码评分暴跌暴露路由器问题,而非模型退化 | Yellow