Avaliadores independentes atribuíram 159 pontos ao novo modelo da Anthropic, o Claude Opus 5, num índice de capacidades — apenas dois pontos abaixo do Claude Fable 5 —, enquanto se acentuam as divergências sobre o seu comportamento em revisão de código.
Principais pontos:
- A Epoch AI atribuiu 159 pontos ao Claude Opus 5 no seu índice de capacidades, face a 161 para o Claude Fable 5, com empate em engenharia de software.
- A CodeRabbit mediu 39,3% de precisão em comentários de revisão acionáveis, acima da base de 35,2%, mas registou quatro vezes mais “nitpicks”.
- Equipas empresariais na Cognition e na Zapier reportaram ganhos em debugging e automação de processos ponta‑a‑ponta.
Primeiros benchmarks do Claude Opus 5 já geram escrutínio
A Anthropic lançou o modelo na sexta‑feira e afirmou que ele se aproxima da “inteligência de fronteira” do Fable 5 a metade do preço, posicionando o Opus 5 como ferramenta para uso diário, e não como solução de nicho. Avaliações externas tendem a corroborar essa leitura — mas divergem na magnitude da diferença.
A Epoch AI colocou o Opus 5 com 159 pontos no seu índice de capacidades, contra 161 do Fable 5, atribuindo desempenho equivalente em engenharia de software, segundo um balanço da Latent Space mostrado em seu noticiário.
Já a Artificial Analysis classificou o modelo em primeiro lugar no seu benchmark de trabalho de conhecimento com agentes, superando o Fable 5 em quase 150 pontos Elo e reduzindo o custo por tarefa em 20%. Alguns desenvolvedores contestaram o índice de capacidades, argumentando que uma melhoria de apenas um ponto em relação ao Opus 4.8 distorce o salto observado no uso diário. Um avaliador relatou que o nível de esforço “médio” superou configurações mais altas num teste de programação.
Veja também: BitMEX Is Shutting Down After 11 Years With No Buyer In Sight
Vereditos sobre revisão de código dividem avaliadores
A CodeRabbit testou o Opus 5 contra cerca de 100 padrões de erro, extraídos de pull requests reais de código aberto, com três execuções por configuração, e mediu 39,3% de precisão em comentários de revisão considerados acionáveis.
O número supera a linha de base de 35,2% do seu revisor em produção, mas o modelo identificou menos bugs já conhecidos e produziu quatro vezes mais “nitpicks” — observações de baixo valor que os engenheiros precisam filtrar manualmente.
No nível de esforço padrão, a precisão caiu para 26,4%. A empresa concluiu que as equipas devem tratar o Opus 5 como um segundo revisor, focado em precisão, e não como um upgrade direto para pipelines de revisão que já funcionam. Claire Vo, que conduz uma avaliação comparativa com sete modelos para equipas de produto, classificou o modelo como brilhante, porém irritante, apontando um viés neurótico e um conflito de merge que o sistema se recusou terminantemente a resolver.
Clientes da Anthropic relatam ganhos em agentes
Scott Wu, CEO da Cognition, afirmou que o Opus 5 se aproxima do desempenho de nível Fable dentro do Devin, a metade do custo, com destaque para debugging e análise de causa raiz. Wade Foster, CEO da Zapier, disse que o modelo liderou o ranking interno de automação da empresa sem consumir mais tokens do que versões anteriores do Claude, ainda tarifadas a US$ 5 por milhão de tokens de entrada.
O entusiasmo veio acompanhado de ressalvas. A Anthropic observou que o Opus 5 fica atrás do modelo Mythos 5 em cibersegurança ofensiva e que pedidos sinalizados pelos classificadores de segurança da companhia são automaticamente revertidos para o Opus 4.8.
A cautela ocorre após um período turbulento no topo da gama: o Fable 5 foi lançado em junho, retirado do ar dias depois e só retomou o serviço para os utilizadores no início de julho.
Leia a seguir: HubSpot Fell 12.7% And Analysts Point Straight At OpenAI's New Agent