Claude Fable 5 於 7 月 1 日重新上線,隨即遭到使用者強烈抱怨,不過基準數據顯示,問題出在 Anthropic 更嚴格的路由器,而不是模型變弱。
重點整理:
- BridgeBench 回報 Fable 5 程式評分大幅下滑,原因是多數除錯任務被路由到其他模型。
- Arena.AI 發現盲測的人類偏好結果大致穩定,在文件與專家文本類別甚至有所提升。
- 開發者受影響最明顯,因為例行的除錯提示就可能觸發新的分類器。
Fable 5 路由機制
Claude Fable 5 在恢復服務後於 7 月 1 日重新上線,用戶在 X 上很快就形容它「壞掉」、「被削弱」或「不如以往」。支持這種看法的最強烈證據來自 BridgeMind,該團隊對恢復後版本重新跑了一次 BridgeBench 程式測試套件。
結果看起來相當嚴重:除錯從 86.2 掉到 25.9,重構從 73.6 降到 38.4,抗幻覺能力從 75.9 降到 61.7。
這些數字並未顯示出模型層級的明確崩潰,因為 BridgeBench 指出,在 12 個 TypeScript 除錯任務中,實際送到 Fable 5 的只有 3 題。其餘 9 題被 Anthropic 新的安全分類器攔截並轉送到 Claude Opus 4.8,而在評分時,這些回退都被記為 0 分,因為被評估的模型沒有作答。
延伸閱讀:Strategy 的 491 BTC 之謎再度引發對 Saylor 出售策略的爭論
Anthropic 分類器
Arena.AI 得到不同結論,因為它評估的是更廣泛提示組合上的盲測人類偏好,包括文字、視覺、文件、程式與代理任務。其早期數據顯示,Fable 5 與 6 月版本相比大致維持穩定。
前端程式的 Elo 分數從 1650 降到 1623,Arena 表示此變化仍在信心區間內,且票數仍在累積中。文件表現上升 34 分,專家級文字提升 25 分,創意寫作增加 9 分。
這樣的分歧意味著,只要提示成功送達,Fable 5 仍然像過去的 Fable 5 一樣表現。問題在於,與安全相關的程式工作可能在模型回應前就被分流,特別是當提示中含有「vulnerability(弱點)」、「exploit(利用)」、「hook」或「fix(修補)」等字眼時。
Anthropic 已承認,新分類器在一般程式開發與除錯工作上會產生誤判。公司表示會隨時間調整系統,但尚未給出目標時程。
目前的設定源於一場更廣泛的安全爭議:Amazon 研究人員先前通報了一個越獄案例,能迫使 Fable 5 辨識並展示軟體弱點。Anthropic 的回應是採用更保守的分類器,但現在看來,這個分類器攔截的內容已超出它原本要阻擋的危險提示。
下一篇閱讀:Trump 表示並不知情 14 億美元加密收入





