Grok 4.5 дав нові аргументи на користь заяв Ілона Маска про співвідношення ціни та продуктивності: в незалежному бенчмарку агентів модель посіла перше місце.
Ключові факти:
- Grok 4.5 набрав 51,4% в AutomationBench-AA, обігнавши дві моделі Claude.
- Вартість виконання завдання — $0,34, суттєво нижча за найближчих конкурентів Anthropic.
- Підвищена частота порушення правил безпеки залишається ризиком для корпоративних впроваджень агентів.
Бенчмарк Grok
Artificial Analysis повідомила, що Grok 4.5 отримав 51,4% в AutomationBench-AA, випередивши Claude Fable 5 із 48,6% та Claude Opus 4.8 із 48,5%. Вартість одного завдання для Grok 4.5 становила $0,34, тоді як для Fable 5 — $1,35, а для Opus 4.8 — $1,46.
Цей результат додає зовнішнє підтвердження твердженню Маска, що Grok 4.5 — це модель рівня Opus, яка працює швидше та дешевше. SpaceXAI цього тижня вивела модель у публічний доступ, спираючись на базову модель V9 із 1,5 трлн параметрів і внутрішні ранні оцінки для обґрунтування запуску.
AutomationBench-AA включає 657 завдань у 40 симульованих застосунках, серед яких Gmail, Slack, Salesforce та HubSpot. Тест оцінює, чи здатен AI-агент досягти поставлених цілей, не порушуючи вбудованих обмежень (guardrails). Набір задач Artificial Analysis тримає закритим, щоб обмежити «забруднення» бенчмарку.
Також читайте: Grok 4.5 кидає виклик OpenAI та Anthropic, пропонуючи дешевший агентний AI
Смілива заява Маска
За даними Artificial Analysis, Grok 4.5 витрачав близько 8 000 вихідних токенів на завдання — приблизно чверть від показника Opus 4.8. «Його загальне споживання — 0,44 млн токенів на завдання — одне з найнижчих у таблиці лідерів», — зазначили в компанії, додавши, що низька вартість пояснюється як ефективністю, так і ціноутворенням на токени.
Модель виконала 79,9% цілей завдань і повністю закрила 21,9% кейсів. У фінансовому сегменті, який бенчмарк вважає найскладнішим доменом, Grok 4.5 показав 71% проти 64% у Fable 5 і 62% у Opus 4.8.
Слабке місце — дотримання політик. У Grok 4.5 зафіксовано в середньому 0,63 порушення guardrails на завдання, більше ніж у Opus 4.8 (0,55) та Gemini 3.5 Flash від Google (0,46). Для компаній, що планують використовувати агентів поруч із бойовими фінансовими системами, така різниця має суттєве значення.
Запускова риторика Маска робила акцент радше на практичному компромісі, ніж на «чистій перемозі» в бенчмарках. Тепер у Grok 4.5 є незалежне підтвердження переваг у вартості й швидкодії, але підвищений рівень порушень правил показує, чому масштабне корпоративне впровадження все одно залежатиме від надійності.
Читайте далі: Відновлення Bitcoin стикається з дефіцитом попиту, який бики не можуть ігнорувати