Grok 4.5 дал новый аргумент в пользу заявления Илона Маска о соотношении цены и производительности: в независимом бенчмарке агентных ИИ модель вышла на первое место.
Основные выводы:
- Grok 4.5 показал 51,4% в AutomationBench-AA, опередив две модели Claude.
- Средняя стоимость задачи составила $0,34 — ощутимо ниже ближайших конкурентов Anthropic.
- Повышенная частота нарушений правил создает риски при использовании агента в корпоративных системах.
Бенчмарк Grok
По данным Artificial Analysis (источник), Grok 4.5 набрал 51,4% в AutomationBench-AA, обойдя Claude Fable 5 с 48,6% и Claude Opus 4.8 с 48,5%. Средняя стоимость выполнения одной задачи у Grok 4.5 составила $0,34 против $1,35 у Fable 5 и $1,46 у Opus 4.8.
Этот результат служит внешним подтверждением тезиса Маска о том, что Grok 4.5 — модель «уровня Opus», но при этом быстрее и дешевле. SpaceXAI вывела модель в публичный доступ на этой неделе, сделав ставку на базовую архитектуру V9 с 1,5 трлн параметров и ранние внутренние метрики.
AutomationBench-AA включает 657 задач в рамках 40 моделируемых приложений, среди которых Gmail, Slack, Salesforce и HubSpot. Тест оценивает, способен ли ИИ-агент выполнять целевые действия, не нарушая встроенных ограничений (guardrails). Набор задач не раскрывается, чтобы снизить риск «натаскивания» под бенчмарк.
Читайте также: Grok 4.5 бросает вызов OpenAI и Anthropic с более дешевым агентным ИИ
Смелое заявление Маска
По оценке Artificial Analysis, Grok 4.5 в среднем генерировал около 8 000 выходных токенов на задачу — примерно четверть объема Opus 4.8. «Общий расход в 0,44 млн токенов на задачу — один из самых низких в рейтинге», — отметила фирма, добавив, что низкая стоимость обусловлена как эффективностью, так и ценой токенов.
Модель успешно завершила 79,9% целевых шагов и полностью закрыла 21,9% задач. В финансовом сегменте — самом сложном домене бенчмарка — Grok 4.5 показал 71%, тогда как Fable 5 набрал 64%, а Opus 4.8 — 62%.
Слабое место — комплаенс. У Grok 4.5 зафиксировано в среднем 0,63 нарушения guardrails на задачу — выше, чем у Opus 4.8 (0,55) и Gemini 3.5 Flash от Google (0,46). Для компаний, разворачивающих ИИ-агентов рядом с живыми финансовыми контурами, этот разрыв критичен.
В презентации запуска Маск делал ставку не на «чистую победу» во всех метриках, а на прагматичный баланс. У Grok 4.5 теперь есть внешнее подтверждение быстродействия и низкой стоимости, однако повышенная частота нарушений правил подчеркивает, что масштабное корпоративное внедрение по-прежнему упрется в вопрос надежности.
Далее по теме: Bitcoin’s Recovery Has A Demand Problem Bulls Cannot Ignore