Claude Fable 5 kehrte am 1. Juli zurück – begleitet von deutlicher Nutzerkritik. Benchmark-Daten deuten jedoch eher auf einen strengeren Anthropic-Router als auf ein schwächeres Modell hin.
Zentrale Punkte:
- BridgeBench meldete einen Einbruch der Fable-5-Coding-Scores, nachdem die meisten Debugging-Aufgaben nicht mehr an das Modell geroutet wurden.
- Arena.AI fand überwiegend stabile blinde Human-Preference-Ergebnisse, mit Zuwächsen in den Kategorien Dokumente und Expertentexte.
- Entwickler spüren die deutlichste Störung, weil schon Routine-Debugging-Prompts den neuen Klassifikator auslösen können.
Fable-5-Routing
Claude Fable 5 ging nach seiner Wiedereinführung am 1. Juli wieder online, und Nutzer auf X beschrieben es schnell als kaputt, generft oder weniger leistungsfähig als zuvor. Die stärksten Belege für diese Sicht kamen von BridgeMind, das seine BridgeBench-Coding-Suite gegen die reaktivierte Version erneut laufen ließ.
Die Ergebnisse sahen drastisch aus. Debugging fiel von 86,2 auf 25,9, Refactoring sank von 73,6 auf 38,4 und die Halluzinationsresistenz ging von 75,9 auf 61,7 zurück.
Diese Zahlen weisen jedoch nicht auf einen klaren Zusammenbruch auf Modellebene hin, weil BridgeBench angab, dass nur drei von zwölf TypeScript-Debugging-Aufgaben tatsächlich Fable 5 erreichten. Die anderen neun wurden vom neuen Safety-Klassifikator von Anthropic abgefangen und zu Claude Opus 4.8 umgeleitet, wobei jeder Fallback mit null Punkten bewertet wurde, da das zu testende Modell nicht antwortete.
Auch lesen: Strategys 491-BTC-Mysterium belebt Debatte über Saylors Sell-Policy neu
Anthropic-Klassifikator
Arena.AI kam zu einem anderen Schluss, weil dort blinde menschliche Präferenzen über ein breiteres Spektrum an Prompts gemessen wurden – darunter Text-, Vision-, Dokument-, Code- und Agentenaufgaben. Die frühen Daten zeigten, dass Fable 5 im Vergleich zur Juni-Version größtenteils stabil blieb.
Frontend-Code sank von 1650 auf 1623 Elo, was laut Arena weiterhin innerhalb des Konfidenzintervalls lag, während weitere Stimmen eintrafen. Die Dokumentenleistung stieg um 34 Punkte, Expertentexte gewannen 25 Punkte und kreatives Schreiben legte um 9 Punkte zu.
Die Aufspaltung legt nahe, dass Fable 5 sich immer noch wie Fable 5 verhält, wenn Prompts es tatsächlich erreichen. Das Problem ist, dass sicherheitsnahe Coding-Arbeiten abgefangen werden können, bevor das Modell antwortet – insbesondere wenn Prompts Begriffe wie Vulnerability, Exploit, Hook oder Fix enthalten.
Anthropic hat eingeräumt, dass die neuen Klassifikatoren bei normaler Coding- und Debugging-Arbeit Fehlalarme erzeugen werden. Das Unternehmen erklärte, es werde das System im Laufe der Zeit verfeinern, hat aber keinen Zieltermin genannt.
Das aktuelle Setup folgt auf eine breitere Safety-Auseinandersetzung, nachdem Amazon-Forschende einen Jailbreak meldeten, der Fable 5 dazu brachte, Software-Schwachstellen zu identifizieren und zu demonstrieren. Anthropics Antwort war ein konservativer Klassifikator, der nun offenbar mehr blockiert als nur die gefährlichen Prompts, für die er entwickelt wurde.
Als Nächstes lesen: Trump sagt, er habe von 1,4 Mrd. Dollar Krypto-Einkünften nichts gewusst