Claude Fable 5 voltou em 1º de julho com fortes reclamações de usuários, mas os dados de benchmark apontam para um roteador Anthropic mais rigoroso, e não para um modelo mais fraco.
Pontos principais:
- O BridgeBench relatou um colapso nas pontuações de código do Fable 5 depois que a maior parte das tarefas de depuração foi roteada para longe do modelo.
- A Arena.AI encontrou resultados de preferência humana cega em grande parte estáveis, com ganhos nas categorias de documentos e texto especializado.
- Desenvolvedores enfrentam a interrupção mais clara porque prompts rotineiros de depuração podem acionar o novo classificador.
Roteamento do Fable 5
Claude Fable 5 voltou ao ar em 1º de julho após sua reintegração, e usuários no X rapidamente o descreveram como quebrado, nerfado ou menos capaz do que antes. A evidência mais forte para essa visão veio da BridgeMind, que executou novamente sua suíte de código BridgeBench contra a versão reintegrada.
Os resultados pareciam severos. A depuração caiu de 86,2 para 25,9, a refatoração caiu de 73,6 para 38,4 e a resistência a alucinações diminuiu de 75,9 para 61,7.
Esses números não mostram um colapso claro no nível do modelo porque o BridgeBench afirmou que apenas três das 12 tarefas de depuração em TypeScript realmente chegaram ao Fable 5. As outras nove foram interceptadas pelo novo classificador de segurança da Anthropic e enviadas para o Claude Opus 4.8, com cada fallback marcado como zero porque o modelo avaliado não respondeu.
Veja também: Mistério de 491 BTC da Strategy reacende debate sobre política de venda de Saylor
Classificador da Anthropic
A Arena.AI chegou a uma conclusão diferente porque mediu preferências humanas cegas em uma mistura mais ampla de prompts, incluindo tarefas de texto, visão, documentos, código e agentes. Seus primeiros dados mostraram o Fable 5 mantendo-se em grande parte estável em relação à versão de junho.
O código de frontend caiu de 1650 para 1623 de Elo, algo que a Arena afirmou ainda estar dentro do intervalo de confiança enquanto os votos se acumulavam. O desempenho em documentos subiu 34 pontos, texto especializado ganhou 25 pontos e escrita criativa aumentou 9 pontos.
A divisão sugere que o Fable 5 ainda atua como Fable 5 quando os prompts chegam até ele. O problema é que trabalhos de código próximos de segurança podem ser desviados antes que o modelo responda, especialmente quando os prompts contêm termos como vulnerabilidade, exploit, hook ou fix.
A Anthropic reconheceu que os novos classificadores vão gerar falsos positivos em trabalhos comuns de codificação e depuração. A empresa disse que vai refinar o sistema ao longo do tempo, mas não forneceu uma data-alvo.
A configuração atual segue uma disputa de segurança mais ampla depois que pesquisadores da Amazon relataram um jailbreak que levou o Fable 5 a identificar e demonstrar vulnerabilidades de software. A resposta da Anthropic foi um classificador conservador, que agora parece bloquear mais do que os prompts perigosos que foi projetado para capturar.
Leia em seguida: Trump diz que não sabia sobre renda cripto de US$ 1,4 bilhão