Claude Fable 5 在 7 月 1 日回歸上線後, 用戶強烈抱怨表現變差,但基準數據指向的是 Anthropic 更嚴格的路由器,而不是模型變弱。
重點摘要:
- BridgeBench 報告稱,在大部分除錯任務被路由走之後,Fable 5 的程式評分大幅崩跌。
- Arena.AI 發現盲測人工偏好結果大致穩定,文件與專家文本類別還有提升。
- 開發者面臨最明顯的干擾,因為一般除錯提示就足以觸發新的分類器。
Fable 5 路由情況
Claude Fable 5 在復職後於 7 月 1 日重新上線,X 上的用戶很快就形容它「壞掉」、「被削弱」, 或是「不如從前」。支持這種看法的最強證據來自 BridgeMind,該團隊重新以復職版本跑了一次 BridgeBench 程式測試套件。
結果看起來相當嚴重:除錯分數從 86.2 掉到 25.9,重構從 73.6 掉到 38.4,抗幻覺能力從 75.9 降到 61.7。
但這些數字並不代表模型層級的完全崩盤,因為 BridgeBench 指出,12 個 TypeScript 除錯任務中, 只有 3 個實際送達 Fable 5。其餘 9 個被 Anthropic 的新安全分類器攔截並改派到 Claude Opus 4.8, 在評分時因為受評模型沒有作答,每個回退都被記為 0 分。
延伸閱讀:Strategy 的 491 BTC 之謎再度引發對 Saylor 賣出策略的爭論
Anthropic 分類器
Arena.AI 得出了不同結論,因為它是在更廣泛的提示組合之下,量測盲測人工偏好, 內容包含文字、視覺、文件、程式與代理任務。其早期數據顯示,Fable 5 與 6 月版本相比大致維持穩定。
前端程式 Elo 分數從 1650 小跌至 1623,Arena 表示這仍落在信賴區間內,隨著投票累積結果仍在變化中。 文件表現上升 34 分,專家文本增加 25 分,創意寫作也提升 9 分。
這種分化結果顯示,只要提示真正送達,Fable 5 仍然像 Fable 5 那樣表現。 問題在於,貼近資安領域的程式工作,可能在模型回應前就被轉向,尤其是當提示中包含 vulnerability、exploit、hook 或 fix 這類詞彙時。
Anthropic 已承認,新分類器在一般程式撰寫與除錯工作上會產生誤判。 公司表示會隨時間持續調整系統,但尚未給出明確時程。
目前的設計,是在更廣泛的安全爭議之後出現:Amazon 研究人員先前回報了一個越獄手法, 能誘導 Fable 5 辨識並示範軟體弱點。Anthropic 的回應是採用更保守的分類器, 如今看起來,它攔下的範圍已超出原本鎖定的危險提示。





