Avaliadores independentes atribuíram 159 pontos ao novo Claude Opus 5, da Anthropic, num índice de capacidades — dois pontos abaixo do Claude Fable 5 —, enquanto se dividem fortemente quanto ao seu desempenho em revisão de código.
Principais pontos:
- A Epoch AI avaliou o Claude Opus 5 em 159 no seu índice de capacidades, contra 161 para o Claude Fable 5, com empate em engenharia de software.
- A CodeRabbit mediu 39,3% de precisão em comentários de revisão acionáveis, acima dos 35,2% de referência, mas com quatro vezes mais “nitpicks”.
- Equipas empresariais da Cognition e da Zapier reportaram ganhos em depuração e automação de processos de negócio de ponta a ponta.
Primeiros benchmarks do Claude Opus 5 sob escrutínio
A Anthropic lançou o modelo na sexta-feira e afirmou que ele se aproxima da inteligência de fronteira do Fable 5 a metade do preço, posicionando-o como ferramenta de uso diário, e não como solução de nicho. Avaliadores externos em geral concordaram com esta leitura — mas não com a diferença fina de desempenho.
A Epoch AI colocou o Opus 5 em 159 no seu índice de capacidades, face a 161 do Fable 5, e considerou ambos equivalentes em engenharia de software, segundo um balanço da Latent Space mostrado.
A Artificial Analysis classificou o modelo em primeiro lugar no seu benchmark de trabalho de conhecimento “agêntico”, superando o Fable 5 em quase 150 pontos Elo e reduzindo o custo por tarefa em 20%. Alguns developers contestaram o índice de capacidades, argumentando que uma melhoria de apenas um ponto sobre o Opus 4.8 antigo subestima grosseiramente o salto que observam no dia a dia. Um avaliador relatou que o nível de “esforço médio” superou configurações mais agressivas num teste de programação.
Leia também: BitMEX Is Shutting Down After 11 Years With No Buyer In Sight
Vereditos de revisão de código dividem avaliadores
A CodeRabbit testou o Opus 5 contra cerca de 100 padrões de erro extraídos de pull requests reais de open source, com três passagens por configuração, e mediu 39,3% de precisão em comentários realmente acionáveis.
O resultado supera a referência de 35,2% do seu revisor em produção, mas o modelo identificou menos bugs já conhecidos e gerou quatro vezes mais “nitpicks” — observações de baixo valor que engenheiros precisam de triar manualmente.
Na configuração de esforço padrão, a precisão caiu para 26,4%. A empresa concluiu que as equipas devem usar o Opus 5 como um segundo revisor, orientado para precisão, e não como um upgrade direto de pipelines que já funcionam. Claire Vo, que gere uma bateria de testes com sete modelos para equipas de produto, classificou o modelo como brilhante, mas irritante, apontando um viés neurótico e um conflito de merge que o sistema simplesmente se recusou a resolver.
Clientes da Anthropic relatam ganhos em agentes
Scott Wu, CEO da Cognition, afirmou que o Opus 5 se aproxima do desempenho de Fable a metade do custo dentro do Devin, com destaque para depuração e análise de causa raiz. Wade Foster, CEO da Zapier, disse que o modelo liderou o ranking interno de automação da empresa sem consumir mais tokens do que versões anteriores do Claude com o mesmo preço de 5 dólares por milhão de tokens de entrada.
O entusiasmo, porém, vem com ressalvas. A Anthropic observa que o Opus 5 fica atrás do Mythos 5 em tarefas ofensivas de cibersegurança e que pedidos sinalizados pelos classificadores de segurança da casa são automaticamente revertidos para o Opus 4.8.
A postura cautelosa segue-se a um período turbulento no topo da gama: o Fable 5 foi lançado em junho, retirado de serviço dias depois e só voltou para os utilizadores no início de julho.
Leia a seguir: HubSpot Fell 12.7% And Analysts Point Straight At OpenAI's New Agent