Grok 4.5 deu novo fôlego ao argumento de custo e desempenho de Elon Musk após um benchmark independente de agentes colocar o modelo na liderança.
Principais pontos:
- Grok 4.5 marcou 51,4% no AutomationBench-AA, à frente de dois modelos Claude.
- O custo por tarefa foi de US$ 0,34, bem abaixo dos rivais da Anthropic.
- A maior taxa de violações de regras segue sendo um risco para uso corporativo em agentes.
Benchmark do Grok
A Artificial Analysis afirmou que o Grok 4.5 alcançou 51,4% no AutomationBench-AA, superando o Claude Fable 5, com 48,6%, e o Claude Opus 4.8, com 48,5%. O modelo também teve um custo de US$ 0,34 por tarefa, bem abaixo dos US$ 1,35 do Fable 5 e dos US$ 1,46 do Opus 4.8.
O benchmark adiciona uma validação externa à tese de Musk de que o Grok 4.5 é um modelo da classe Opus, porém mais rápido e barato. A SpaceXAI tornou o modelo público nesta semana, ancorando o lançamento em uma base V9 de 1,5 trilhão de parâmetros e em avaliações internas preliminares.
O AutomationBench-AA reúne 657 tarefas em 40 aplicativos simulados, incluindo Gmail, Slack, Salesforce e HubSpot. O teste mede se um agente de IA consegue cumprir objetivos sem romper guardrails de segurança, e a Artificial Analysis mantém o conjunto de tarefas privado para reduzir contaminação de benchmark.
Veja também: Grok 4.5 desafia OpenAI e Anthropic com IA agentic mais barata
A aposta ousada de Musk
Segundo a Artificial Analysis, o Grok 4.5 utilizou cerca de 8.000 tokens de saída por tarefa, aproximadamente um quarto do volume do Opus 4.8. “Seu uso total de tokens, de 0,44M por tarefa, está entre os menores do ranking”, disse a empresa, destacando que o baixo custo resulta de eficiência e de preço por token.
O modelo concluiu 79,9% dos objetivos de tarefa e finalizou integralmente 21,9% das tarefas. Em finanças, o domínio mais difícil do benchmark, o Grok 4.5 liderou com 71%, ante 64% do Fable 5 e 62% do Opus 4.8.
O ponto fraco foi a conformidade. O Grok 4.5 registrou 0,63 violações de guardrail por tarefa, acima dos 0,55 do Opus 4.8 e dos 0,46 do Gemini 3.5 Flash, da Google — um diferencial relevante para empresas que pretendem operar agentes próximos a sistemas financeiros em produção.
A apresentação de Musk no lançamento enfatizou um trade-off pragmático, e não uma vitória limpa em todos os indicadores. O Grok 4.5 agora conta com validação externa para custo e velocidade, mas a taxa mais alta de violações de regras mostra por que a adoção corporativa seguirá condicionada à confiabilidade.
Próxima leitura: Bitcoin enfrenta recuperação com problema de demanda que os touros não podem ignorar