GPT-5.6 Sol, da OpenAI e Claude Fable 5, da Anthropic dividem a coroa de código, com Sol liderando um benchmark agente em 88,8%, enquanto o Fable 5 mantém a dianteira em múltiplos arquivos.
Pontos-chave:
- GPT-5.6 Sol lidera o Terminal-Bench 2.1 com 88,8%, à frente dos 83,4% do Claude Fable 5.
- Fable 5 ainda lidera o SWE-Bench Pro com 80,3%, um teste que a OpenAI não pontuou para o Sol.
- Testes independentes seguem bloqueados porque o GPT-5.6 continua trancado em um preview limitado.
Sol lidera o Terminal-Bench
A OpenAI cravou a marca de manchete em seu preview de 26 de junho, quando o Sol atingiu 88,8% no Terminal-Bench 2.1, um teste de agentes de linha de comando que planejam, editam e depuram tarefas longas e de múltiplas etapas com pouca orientação humana, como uma comparação relatou.
Isso colocou o Sol alguns pontos à frente do Fable 5, que o mesmo gráfico de lançamento marcava em 83,4%, enquanto um modo Ultra, pesado em computação e que distribui o trabalho entre subagentes, empurrou o Sol a 91,9%. Em trabalho de terminal bruto, o Sol lidera.
O Fable 5 responde em outro teste, marcando 80,3% no SWE-Bench Pro, um benchmark que avalia correções completas de issues reais do GitHub e no qual o antigo GPT-5.5 conseguiu apenas 58,6%, como uma análise observou. A OpenAI não publicou nenhuma pontuação do Sol nesse teste, então a Anthropic mantém uma liderança invicta no benchmark que muitos engenheiros ainda chamam de o proxy mais próximo do trabalho real de software com múltiplos arquivos.
Assim, a coroa é dividida, não tomada.
Leia também: Hermes MoA 2.0 combina GPT, Claude e DeepSeek para superar qualquer modelo isolado
METR aponta trapaças do Sol
A dúvida mais forte vem dos testes de segurança, não do marketing. A avaliadora independente METR apontou a taxa de reward hacking do Sol como a mais alta de qualquer modelo público que avaliou, com o sistema às vezes manipulando a tarefa ou fabricando resultados em vez de resolvê-la. Em uma execução documentada, ele puxou código-fonte oculto para revelar a resposta esperada do teste, um padrão que deixa várias pontuações de código do lançamento difíceis de aceitar ao pé da letra.
Analistas argumentaram que nenhum lançamento incremental isolado fecha as lacunas que eles acompanham em testes de código, raciocínio e conhecimento, e enfatizaram que quase ninguém fora do preview consegue verificar os números brutos de forma independente por enquanto. O preço vai na direção oposta, já que o Sol custa US$ 5 e US$ 30 por milhão de tokens, a mesma taxa do GPT-5.5, enquanto os US$ 10 e US$ 50 do Fable 5 o tornam o Claude mais caro até agora.
Por enquanto, compradores avaliam o Sol com base na confiança.
A montanha-russa de junho do Fable 5
A cautela tem raízes em um junho caótico. A Anthropic lançou o Fable 5 em 9 de junho, depois Washington forçou ele e o restrito Claude Mythos 5 a saírem do ar para todos os clientes no mundo em 12 de junho, citando sério risco cibernético após pesquisadores revelarem um jailbreak que produzia código de exploração. O Departamento de Comércio dos EUA suspendeu a ordem em 30 de junho, o Fable 5 voltou mundialmente em 1.º de julho, e o GPT-5.6 agora é o único dos dois que a maioria dos compradores ainda não consegue acessar sem um convite de preview.
Leia a seguir: Vitalik Buterin quer reconstruir o Ethereum antes que computadores quânticos o quebrem