Claude Fable 5 kwam op 1 juli terug online met felle klachten van gebruikers, maar benchmarkdata wijst op een strengere Anthropic-router in plaats van een zwakker model.
Belangrijkste punten:
- BridgeBench rapporteerde een instorting van de Fable 5-codingscores nadat de meeste debuggingtaken niet langer naar het model werden gerouteerd.
- Arena.AI vond grotendeels stabiele blinde menselijke-preferentieresultaten, met verbeteringen in document- en experttekstcategorieën.
- Ontwikkelaars ondervinden de duidelijkste verstoring omdat routinematige debuggingprompts de nieuwe classifier kunnen activeren.
Fable 5-routing
Claude Fable 5 kwam op 1 juli weer online na de herinvoering, en gebruikers op X omschreven het al snel als kapot, “nerfed” of minder capabel dan voorheen. Het sterkste bewijs voor dat standpunt kwam van BridgeMind, dat zijn BridgeBench-codingsuite opnieuw draaide tegen de herstelde versie.
De resultaten zagen er ernstig uit. Debugging zakte van 86,2 naar 25,9, refactoring daalde van 73,6 naar 38,4, en weerstand tegen hallucinaties ging terug van 75,9 naar 61,7.
Die cijfers tonen geen nette ineenstorting op modelniveau, omdat BridgeBench meldde dat slechts drie van de twaalf TypeScript-debuggingtaken daadwerkelijk Fable 5 bereikten. De andere negen werden onderschept door Anthropics nieuwe veiligheidsclassifier en doorgestuurd naar Claude Opus 4.8, waarbij elke fallback als nul werd gescoord omdat het geëvalueerde model niet antwoordde.
Ook lezen: Strategys BTC-mysterie van 491 BTC wakkert debat over Saylors verkoopbeleid aan
Anthropic-classifier
Arena.AI kwam tot een andere conclusie omdat het blinde menselijke voorkeuren mat over een bredere mix van prompts, waaronder tekst-, beeld-, document-, code- en agenttaken. De eerste data liet zien dat Fable 5 grotendeels stabiel bleef ten opzichte van de juni-versie.
Frontend-code zakte van 1650 naar 1623 Elo, wat volgens Arena binnen de betrouwbaarheidsmarge bleef terwijl er meer stemmen binnenkwamen. Documentprestaties stegen met 34 punten, experttekst won 25 punten en creatief schrijven nam met 9 punten toe.
Die splitsing suggereert dat Fable 5 zich nog steeds gedraagt als Fable 5 wanneer prompts het model daadwerkelijk bereiken. Het probleem is dat aan beveiliging grenzend programmeerwerk kan worden omgeleid voordat het model antwoordt, vooral wanneer prompts termen bevatten als vulnerability, exploit, hook of fix.
Anthropic heeft erkend dat de nieuwe classifiers valse positieven zullen genereren bij normaal programmeer- en debuggingwerk. Het bedrijf zegt het systeem in de loop van de tijd te verfijnen, maar heeft geen streefdatum genoemd.
De huidige opzet volgt op een bredere veiligheidscontroverse nadat onderzoekers van Amazon een jailbreak meldden die Fable 5 ertoe bracht softwarekwetsbaarheden te identificeren en te demonstreren. Anthropics antwoord was een conservatieve classifier, die nu meer lijkt te blokkeren dan alleen de gevaarlijke prompts waarvoor hij bedoeld was.
Lees hierna: Trump zegt dat hij niet wist van $1,4 miljard aan cryptokinkomsten