Grok 4.5 deu novo fôlego à tese de custo-benefício de Elon Musk depois de um benchmark independente de agentes colocar o modelo na liderança.
Pontos-chave:
- Grok 4.5 obteve 51,4% no AutomationBench-AA, à frente de dois modelos Claude.
- O modelo custou US$ 0,34 por tarefa, bem abaixo dos rivais da Anthropic.
- A maior taxa de violações de regras segue como risco para uso corporativo em agentes.
O desempenho do Grok
A Artificial Analysis informou que o Grok 4.5 alcançou 51,4% no AutomationBench-AA, superando o Claude Fable 5, com 48,6%, e o Claude Opus 4.8, com 48,5%. O custo por tarefa ficou em apenas US$ 0,34, contra US$ 1,35 do Fable 5 e US$ 1,46 do Opus 4.8.
O benchmark oferece uma validação externa à alegação de Musk de que o Grok 4.5 é um modelo de classe Opus, porém mais rápido e barato. A SpaceXAI tornou o modelo público nesta semana, apoiando o lançamento numa fundação V9 de 1,5 trilhão de parâmetros e em avaliações internas preliminares.
O AutomationBench-AA reúne 657 tarefas em 40 aplicações simuladas, incluindo Gmail, Slack, Salesforce e HubSpot. O teste mede se um agente de IA consegue cumprir os objetivos sem quebrar guardrails, enquanto a Artificial Analysis mantém o conjunto de tarefas privado para reduzir contaminação do benchmark.
Veja também: Grok 4.5 desafia OpenAI e Anthropic com IA agentic mais barata
A aposta de Musk
Segundo a Artificial Analysis, o Grok 4.5 utilizou cerca de 8.000 tokens de saída por tarefa, aproximadamente um quarto do total do Opus 4.8. “O uso total de 0,44M de tokens por tarefa é um dos mais baixos do ranking”, afirmou a consultoria, ao destacar que o baixo custo decorre da eficiência e da precificação de tokens.
O modelo cumpriu 79,9% dos objetivos das tarefas e concluiu integralmente 21,9% delas. Em finanças — o domínio mais difícil do benchmark — o Grok 4.5 liderou com 71%, ante 64% do Fable 5 e 62% do Opus 4.8.
A fragilidade apareceu na conformidade. O Grok 4.5 registrou 0,63 violações de guardrails por tarefa, acima dos 0,55 do Opus 4.8 e dos 0,46 do Gemini 3.5 Flash, da Google — um diferencial relevante para empresas que operam agentes próximos de sistemas financeiros em produção.
Na narrativa de lançamento, Musk enfatizou mais o trade-off prático do que uma vitória absoluta em todos os indicadores. O Grok 4.5 agora conta com evidência externa de vantagem em custo e velocidade, mas a maior incidência de violações de regras mostra por que a adoção corporativa continuará dependente de ganhos em confiabilidade.
Próximo artigo: A recuperação do Bitcoin tem um problema de demanda que os touros não podem ignorar