Grok 4.5 offre nuovo sostegno alle affermazioni di Elon Musk su costi e performance, dopo che un benchmark indipendente sugli agenti ha collocato il modello al primo posto.
Punti chiave
- Grok 4.5 ha ottenuto il 51,4% su AutomationBench-AA, davanti a due modelli Claude.
- Il costo per task è stato di 0,34 dollari, molto inferiore ai principali rivali di Anthropic.
- Il tasso più elevato di violazioni dei guardrail resta un rischio per l’adozione enterprise.
Il benchmark su Grok
Artificial Analysis ha indicato che Grok 4.5 ha totalizzato il 51,4% su AutomationBench-AA, superando Claude Fable 5 con il 48,6% e Claude Opus 4.8 con il 48,5%. Il modello è costato 0,34 dollari per task, contro 1,35 dollari per Fable 5 e 1,46 dollari per Opus 4.8.
Il benchmark fornisce un riscontro esterno alla tesi di Musk secondo cui Grok 4.5 è un modello di classe Opus, ma più veloce e meno costoso. SpaceXAI ha reso pubblico il modello questa settimana, presentandolo su una foundation V9 da 1,5 trilioni di parametri e facendo leva su prime valutazioni interne per inquadrare il lancio.
AutomationBench-AA impiega 657 task su 40 app simulate, tra cui Gmail, Slack, Salesforce e HubSpot. Il test misura la capacità di un agente AI di portare a termine gli obiettivi senza violare i guardrail; Artificial Analysis mantiene privato il set di task per ridurre il rischio di contaminazione del benchmark.
Da leggere anche: Grok 4.5 sfida OpenAI e Anthropic con un’AI agentica più economica
La scommessa di Musk
Artificial Analysis rileva che Grok 4.5 ha utilizzato circa 8.000 token di output per task, pari a circa un quarto del consumo di Opus 4.8. «Il consumo totale di 0,44M token per task è tra i più bassi in classifica», ha affermato la società, aggiungendo che il costo ridotto deriva da efficienza e pricing dei token.
Il modello ha completato il 79,9% degli obiettivi e ha superato integralmente il 21,9% dei task. Nella finanza, l’area più complessa del benchmark, Grok 4.5 è in testa con il 71%, contro il 64% di Fable 5 e il 62% di Opus 4.8.
Il tallone d’Achille è la compliance. Grok 4.5 ha registrato in media 0,63 violazioni dei guardrail per task, più di Opus 4.8 (0,55) e di Gemini 3.5 Flash di Google (0,46): un divario che pesa per le aziende che impiegano agenti a ridosso di sistemi finanziari live.
Il pitch di lancio di Musk ha puntato su un compromesso pragmatico più che su un dominio netto nei benchmark. Grok 4.5 dispone ora di un riscontro esterno su costo e velocità, ma l’elevato tasso di violazioni delle regole spiega perché l’adozione enterprise continuerà a dipendere dalla capacità di garantire affidabilità.
Prossimo articolo: La ripresa del Bitcoin ha un problema di domanda che i rialzisti non possono ignorare