Grok 4.5 aportó nueva munición a las tesis de Elon Musk sobre coste y rendimiento, después de que un benchmark independiente de agentes situara al modelo en primera posición.
Claves:
- Grok 4.5 logró un 51,4% en AutomationBench-AA, por delante de dos modelos Claude.
- El coste por tarea fue de 0,34 dólares, muy por debajo de sus rivales directos de Anthropic.
- Su mayor tasa de violación de reglas sigue siendo un riesgo para despliegues de agentes en empresas.
El benchmark de Grok
Artificial Analysis informó de que Grok 4.5 alcanzó un 51,4% en AutomationBench-AA, superando a Claude Fable 5, con un 48,6%, y a Claude Opus 4.8, con un 48,5%. El modelo también registró un coste de 0,34 dólares por tarea, muy por debajo de los 1,35 dólares de Fable 5 y los 1,46 dólares de Opus 4.8.
El benchmark aporta una validación externa a la afirmación de Musk de que Grok 4.5 es un modelo de clase Opus, pero más rápido y barato. SpaceXAI lo hizo público esta semana, apoyándose en una base V9 de 1,5 billones de parámetros y en evaluaciones internas preliminares para enmarcar el lanzamiento.
AutomationBench-AA incluye 657 tareas en 40 aplicaciones simuladas, entre ellas Gmail, Slack, Salesforce y HubSpot. El test mide si un agente de IA es capaz de completar los objetivos sin saltarse los guardrails, y Artificial Analysis mantiene el conjunto de tareas privado para limitar la contaminación del benchmark.
También te puede interesar: Grok 4.5 desafía a OpenAI y Anthropic con una IA de agentes más barata
La apuesta de Musk
Artificial Analysis señaló que Grok 4.5 empleó unos 8.000 tokens de salida por tarea, aproximadamente una cuarta parte del total de Opus 4.8. “Su uso total de tokens, 0,44 millones por tarea, está entre los más bajos del ránking”, indicó la firma, subrayando que el menor coste responde tanto a la eficiencia como a la estructura de precios por token.
El modelo completó el 79,9% de los objetivos de las tareas y superó por completo el 21,9% de los encargos. En finanzas, el ámbito más exigente del benchmark, Grok 4.5 encabezó la tabla con un 71%, frente al 64% de Fable 5 y el 62% de Opus 4.8.
Su punto débil fue el cumplimiento normativo. Grok 4.5 registró 0,63 violaciones de guardrails por tarea, por encima de las 0,55 de Opus 4.8 y las 0,46 de Gemini 3.5 Flash de Google, una diferencia relevante para compañías que despliegan agentes cerca de sistemas financieros en producción.
El mensaje de Musk en el lanzamiento se centró en un compromiso práctico más que en una victoria limpia en los benchmarks. Grok 4.5 ya cuenta con respaldo externo en coste y velocidad, pero su mayor tasa de violaciones de reglas muestra por qué la adopción corporativa seguirá pivotando sobre la fiabilidad.
Lee a continuación: La recuperación de Bitcoin tiene un problema de demanda que los alcistas no pueden ignorar