Claude Fable 5 程式表現驟降揭示路由器問題,而非模型退化

Claude Fable 5 程式表現驟降揭示路由器問題,而非模型退化

Claude Fable 5 在 7 月 1 日回歸上線後, 用戶強烈抱怨表現變差,但基準數據指向的是 Anthropic 更嚴格的路由器,而不是模型變弱。

重點摘要:

  • BridgeBench 報告稱,在大部分除錯任務被路由走之後,Fable 5 的程式評分大幅崩跌。
  • Arena.AI 發現盲測人工偏好結果大致穩定,文件與專家文本類別還有提升。
  • 開發者面臨最明顯的干擾,因為一般除錯提示就足以觸發新的分類器。

Fable 5 路由情況

Claude Fable 5 在復職後於 7 月 1 日重新上線,X 上的用戶很快就形容它「壞掉」、「被削弱」, 或是「不如從前」。支持這種看法的最強證據來自 BridgeMind,該團隊重新以復職版本跑了一次 BridgeBench 程式測試套件。

結果看起來相當嚴重:除錯分數從 86.2 掉到 25.9,重構從 73.6 掉到 38.4,抗幻覺能力從 75.9 降到 61.7。

但這些數字並不代表模型層級的完全崩盤,因為 BridgeBench 指出,12 個 TypeScript 除錯任務中, 只有 3 個實際送達 Fable 5。其餘 9 個被 Anthropic 的新安全分類器攔截並改派到 Claude Opus 4.8, 在評分時因為受評模型沒有作答,每個回退都被記為 0 分。

延伸閱讀:Strategy 的 491 BTC 之謎再度引發對 Saylor 賣出策略的爭論

Anthropic 分類器

Arena.AI 得出了不同結論,因為它是在更廣泛的提示組合之下,量測盲測人工偏好, 內容包含文字、視覺、文件、程式與代理任務。其早期數據顯示,Fable 5 與 6 月版本相比大致維持穩定。

前端程式 Elo 分數從 1650 小跌至 1623,Arena 表示這仍落在信賴區間內,隨著投票累積結果仍在變化中。 文件表現上升 34 分,專家文本增加 25 分,創意寫作也提升 9 分。

這種分化結果顯示,只要提示真正送達,Fable 5 仍然像 Fable 5 那樣表現。 問題在於,貼近資安領域的程式工作,可能在模型回應前就被轉向,尤其是當提示中包含 vulnerability、exploit、hook 或 fix 這類詞彙時。

Anthropic 已承認,新分類器在一般程式撰寫與除錯工作上會產生誤判。 公司表示會隨時間持續調整系統,但尚未給出明確時程。

目前的設計,是在更廣泛的安全爭議之後出現:Amazon 研究人員先前回報了一個越獄手法, 能誘導 Fable 5 辨識並示範軟體弱點。Anthropic 的回應是採用更保守的分類器, 如今看起來,它攔下的範圍已超出原本鎖定的危險提示。

下篇閱讀:Trump 稱自己不知情 14 億美元加密貨幣收入

免責聲明及風險提示: 本文資訊僅供教育與參考之用,並基於作者意見,並不構成金融、投資、法律或稅務建議。 加密貨幣資產具高度波動性並伴隨高風險,可能導致投資大幅虧損或全部損失,並非適合所有投資者。 文章內容僅代表作者觀點,不代表 Yellow、創辦人或管理層立場。 投資前請務必自行徹底研究(D.Y.O.R.),並諮詢持牌金融專業人士。
Claude Fable 5 程式表現驟降揭示路由器問題,而非模型退化 | Yellow