Claude Fable 5 は7月1日に復帰しましたが、ユーザーからは鋭い不満が相次ぎました。ただしベンチマークデータは、モデルそのものの弱体化というより、Anthropic のより厳格なルーターに原因があることを示しています。
主なポイント:
- BridgeBenchは、ほとんどのデバッグタスクがモデルから外された結果、Fable 5のコーディングスコアが崩壊したと報告した。
- Arena.AIは、文書や専門テキスト分野での伸びを含む、ほぼ安定したブラインド人間評価結果を確認した。
- 開発者は、日常的なデバッグプロンプトが新しい分類器をトリガーしうるため、最も明確な影響を受けている。
Fable 5のルーティング
Claude Fable 5は再投入を経て7月1日にオンラインへ復帰し、X上のユーザーはすぐに、以前より「壊れた」「ナーフされた」「能力が落ちた」と表現しました。その見方を最も強く裏付けたのは、再投入版に対してBridgeBenchコーディングスイートを再実行した BridgeMind の報告でした。
結果は深刻に見えました。デバッグは86.2から25.9に低下し、リファクタリングは73.6から38.4に、ハルシネーション耐性は75.9から61.7に下がりました。
しかしこれらの数値は、モデルレベルでの明快な崩壊を示しているわけではありません。というのも、BridgeBenchによると、12個のTypeScriptデバッグタスクのうち、実際にFable 5に届いたのは3つだけだったからです。残り9つはAnthropicの新しい安全性分類器によってブロックされ、Claude Opus 4.8に送られました。評価対象モデルが回答していないため、これらのフォールバックはすべてスコア0として扱われました。
関連記事: Strategyの491 BTCの謎がSaylorの売却方針をめぐる議論を再燃
Anthropicの分類器
Arena.AI は異なる結論に達しました。同社はテキスト・ビジョン・文書・コード・エージェントタスクなど、より広いプロンプトの組み合わせに対するブラインド人間選好を測定したためです。その初期データでは、Fable 5は6月版と比べて概ね安定したパフォーマンスを維持していました。
フロントエンドコードのEloは1650から1623へとわずかに低下しましたが、Arenaによれば、投票が蓄積している間も統計的な信頼区間内にとどまっているとされました。文書タスクは34ポイント上昇し、専門テキストは25ポイント増加、クリエイティブライティングは9ポイント伸びました。
この分割結果からは、「プロンプトが届きさえすれば」Fable 5は依然としてFable 5として動作していることが示唆されます。問題は、セキュリティに隣接するコーディング作業が、モデルが応答する前に迂回させられうる点です。特に、vulnerability（脆弱性）、exploit（エクスプロイト）、hook、fix（修正）といった用語を含むプロンプトでは、その傾向が強くなります。
Anthropicは、新しい分類器が通常のコーディングやデバッグ作業に対しても誤検知（フォールスポジティブ）を生むことを認めています。同社は時間をかけてシステムを改善すると述べていますが、目標時期は示していません。
現在の仕組みは、より広範な安全性論争の延長線上にあります。というのも、Amazon の研究者らが、Fable 5にソフトウェア脆弱性の特定と実演を行わせる脱獄手法を報告したためです。Anthropicの回答は保守的な分類器であり、いまや本来捕捉したかった危険なプロンプト以上のものをブロックしているように見えます。