Claude Fable 5 kehrte am 1. Juli zurück und stieß auf scharfe Nutzerbeschwerden, doch Benchmark-Daten deuten eher auf einen strengeren Anthropic-Router als auf ein schwächeres Modell hin.
Wichtige Punkte:
- BridgeBench meldete einen Einbruch der Fable 5-Coding-Scores, nachdem die meisten Debugging-Aufgaben vom Modell weggeroutet wurden.
- Arena.AI fand überwiegend stabile, blinde menschliche Präferenzwerte mit Zugewinnen bei Dokument- und Expertentexten.
- Entwickler sind am deutlichsten betroffen, weil Routine-Debugging-Prompts nun den neuen Klassifikator auslösen können.
Fable 5-Routing
Claude Fable 5 ging am 1. Juli nach seiner Wiedereinführung wieder online, und Nutzer auf X beschrieben es schnell als kaputt, generft oder weniger leistungsfähig als zuvor. Die stärksten Argumente für diese Sicht kamen von BridgeMind, das seine BridgeBench-Coding-Suite gegen die reaktivierte Version erneut ausführte.
Die Ergebnisse sahen drastisch aus. Debugging fiel von 86,2 auf 25,9, Refactoring von 73,6 auf 38,4 und die Halluzinationsresistenz von 75,9 auf 61,7.
Diese Zahlen zeigen jedoch keinen klaren Zusammenbruch auf Modellebene, denn BridgeBench erklärte, dass nur drei von zwölf TypeScript-Debugging-Aufgaben tatsächlich Fable 5 erreichten. Die anderen neun wurden von Anthropics neuem Sicherheitsklassifikator abgefangen und an Claude Opus 4.8 weitergeleitet; jeder dieser Fallbacks wurde mit null bewertet, weil das zu testende Modell nicht antwortete.
Auch lesen: Strategys 491 BTC-Mysterium belebt Debatte über Saylors Verkaufsstrategie
Anthropic-Klassifikator
Arena.AI kam zu einem anderen Schluss, weil dort blinde menschliche Präferenzen über eine breitere Mischung von Prompts gemessen wurden, darunter Text-, Vision-, Dokument-, Code- und Agentenaufgaben. Die frühen Daten zeigten, dass Fable 5 im Vergleich zur Juni-Version weitgehend stabil blieb.
Frontend-Code sank von 1650 auf 1623 Elo, was laut Arena weiterhin innerhalb des Konfidenzintervalls lag, während weitere Stimmen hinzukamen. Die Dokumentleistung stieg um 34 Punkte, Expertentexte legten um 25 Punkte zu und kreatives Schreiben verbesserte sich um 9 Punkte.
Die Aufspaltung legt nahe, dass Fable 5 sich weiterhin wie Fable 5 verhält, wenn Prompts es tatsächlich erreichen. Das Problem ist, dass sicherheitsnahe Coding-Arbeiten abgefangen werden können, bevor das Modell antwortet – insbesondere, wenn Prompts Begriffe wie Vulnerability, Exploit, Hook oder Fix enthalten.
Anthropic hat eingeräumt, dass die neuen Klassifikatoren bei normaler Coding- und Debugging-Arbeit Fehlalarme erzeugen werden. Das Unternehmen erklärte, man werde das System im Lauf der Zeit verfeinern, nannte aber kein Zieldatum.
Das aktuelle Setup folgt auf einen größeren Safety-Konflikt, nachdem Amazon-Forscher einen Jailbreak meldeten, der Fable 5 dazu brachte, Softwareschwachstellen zu identifizieren und zu demonstrieren. Anthropics Antwort war ein konservativer Klassifikator, der nun offenbar mehr blockiert als nur die gefährlichen Prompts, für die er entwickelt wurde.
Als Nächstes lesen: Trump sagt, er wusste nichts von 1,4 Mrd. $ Krypto-Einnahmen