Claude Fable 5 voltou em 1º de julho com fortes reclamações de usuários, mas os dados de benchmark apontam para um roteador Anthropic mais rígido, e não para um modelo mais fraco.
Pontos principais:
- A BridgeBench relatou um colapso nas pontuações de código do Fable 5 depois que a maioria das tarefas de depuração foi roteada para longe do modelo.
- A Arena.AI encontrou resultados de preferência humana às cegas em geral estáveis, com ganhos em categorias de documentos e texto especializado.
- Desenvolvedores enfrentam a maior disrupção porque prompts de depuração rotineira podem acionar o novo classificador.
Roteamento do Fable 5
O Claude Fable 5 voltou ao ar em 1º de julho após sua reintegração, e usuários no X rapidamente o descreveram como quebrado, nerfado ou menos capaz do que antes. A evidência mais forte para essa visão veio da BridgeMind, que executou novamente sua suíte de código BridgeBench contra a versão reinstalada.
Os resultados pareceram severos. A depuração caiu de 86,2 para 25,9, a refatoração caiu de 73,6 para 38,4, e a resistência a alucinações diminuiu de 75,9 para 61,7.
Esses números não mostram um colapso claro no nível do modelo porque a BridgeBench informou que apenas três das 12 tarefas de depuração em TypeScript realmente chegaram ao Fable 5. As outras nove foram interceptadas pelo novo classificador de segurança da Anthropic e enviadas para o Claude Opus 4.8, com cada fallback pontuado como zero porque o modelo avaliado não respondeu.
Leia também: Mistério dos 491 BTC da Strategy reacende debate sobre política de venda de Saylor
Classificador da Anthropic
A Arena.AI chegou a uma conclusão diferente porque mediu preferências humanas às cegas em um conjunto mais amplo de prompts, incluindo tarefas de texto, visão, documentos, código e agentes. Seus dados iniciais mostraram o Fable 5 mantendo-se em grande parte estável em relação à versão de junho.
O código de frontend caiu de 1650 para 1623 de Elo, o que a Arena disse permanecer dentro do intervalo de confiança enquanto os votos se acumulam. O desempenho em documentos subiu 34 pontos, o texto especializado ganhou 25 pontos e a escrita criativa aumentou em 9 pontos.
A divisão sugere que o Fable 5 ainda se comporta como Fable 5 quando os prompts chegam até ele. O problema é que trabalhos de código relacionados a segurança podem ser desviados antes que o modelo responda, especialmente quando os prompts contêm termos como vulnerabilidade, exploit, hook ou fix.
A Anthropic reconheceu que os novos classificadores vão gerar falsos positivos em trabalhos comuns de programação e depuração. A empresa disse que vai aprimorar o sistema ao longo do tempo, mas não deu uma data-alvo.
A configuração atual segue-se a uma disputa de segurança mais ampla depois que pesquisadores da Amazon relataram um jailbreak que levou o Fable 5 a identificar e demonstrar vulnerabilidades de software. A resposta da Anthropic foi um classificador conservador, que agora parece bloquear mais do que os prompts perigosos que foi projetado para capturar.
Leia a seguir: Trump diz que não sabia sobre renda cripto de US$ 1,4 bi