Grok 4.5가 독립적인 에이전트 벤치마크에서 1위를 기록하며, 일론 머스크가 내세운 ‘성능 대비 비용 우위’ 주장에 힘을 실었다.
핵심 포인트
- Grok 4.5는 AutomationBench-AA에서 51.4%를 기록하며 두 개의 클로드 모델을 앞섰다.
- 작업당 비용은 0.34달러로, 가장 가까운 Anthropic 경쟁 모델 대비 크게 낮았다.
- 다만 가드레일(안전 규칙) 위반 비율이 높아 기업용 에이전트 배치 시 리스크로 지목된다.
그록 벤치마크 결과
리서치 업체 Artificial Analysis는 보고서에서 Grok 4.5가 AutomationBench-AA 테스트에서 51.4%를 기록해, Claude Fable 5의 48.6%, Claude Opus 4.8의 48.5%를 모두 상회했다고 밝혔다. 작업당 비용도 Grok 4.5는 0.34달러에 그친 반면, Fable 5는 1.35달러, Opus 4.8은 1.46달러로 비용 격차가 컸다.
이번 결과는 Grok 4.5가 “Opus급 모델이면서 더 빠르고 더 싸다”는 머스크의 주장을 외부 벤치마크로 뒷받침해주는 셈이다. 머스크가 이끄는 SpaceXAI는 최근 1.5조 파라미터 V9 기반 모델과 내부 초기 평가 결과를 내세우며 Grok 4.5를 대중에 공개했다.
AutomationBench-AA는 Gmail, Slack, Salesforce, HubSpot 등 40개 시뮬레이션 앱에서 657개 작업을 수행하게 해, AI 에이전트가 가드레일을 어기지 않고 목표를 완수하는지를 측정한다. Artificial Analysis는 벤치마크 오염을 줄이기 위해 구체적인 과제 세트는 비공개로 유지하고 있다.
참고 기사: Grok 4.5 Challenges OpenAI And Anthropic With Cheaper Agentic AI
머스크의 ‘실용적 트레이드오프’ 주장
Artificial Analysis에 따르면 Grok 4.5는 작업당 출력 토큰을 약 8,000개 사용해, Opus 4.8 대비 약 4분의 1 수준에 그쳤다. 이 회사는 “작업당 총 토큰 사용량 44만 개는 리더보드 중 최저 수준”이라며, 낮은 비용이 높은 효율성과 토큰 가격 구조에 기반한다고 분석했다.
Grok 4.5는 전체 작업 목표의 79.9%를 달성했고, 과제의 21.9%는 완전 통과했다. 가장 난도가 높은 도메인으로 꼽힌 금융 분야에서는 Grok 4.5가 71%로 선두에 올랐고, Fable 5는 64%, Opus 4.8은 62%에 그쳤다.
그러나 발목을 잡은 것은 준법성(compliance)이었다. Grok 4.5의 작업당 가드레일 위반 건수는 0.63건으로, Opus 4.8(0.55건)과 Google의 Gemini 3.5 Flash(0.46건)보다 높았다. 실제 금융 시스템과 맞닿은 업무에 에이전트를 투입하려는 기업 입장에선 민감할 수밖에 없는 격차다.
머스크의 출시 메시지는 ‘모든 벤치마크 완승’보다는 비용·속도·위험 간의 실용적인 트레이드오프에 초점을 뒀다. Grok 4.5는 외부 벤치마크로 비용과 속도 경쟁력을 입증했지만, 상대적으로 높은 규칙 위반 비율은 엔터프라이즈 도입 여부가 결국 신뢰성과 통제 가능성에 달려 있음을 다시 상기시키고 있다.
다음 읽기: Bitcoin’s Recovery Has A Demand Problem Bulls Cannot Ignore