Grok 4.5가 독립 에이전트 벤치마크에서 1위를 차지하며 일론 머스크가 내세워온 ‘성능 대비 비용 우위’ 주장을 뒷받침했다.
핵심 내용
- Grok 4.5는 AutomationBench-AA에서 51.4%를 기록, 두 개의 클로드 모델을 앞섰다.
- 작업당 비용은 0.34달러로, Anthropic의 경쟁 모델 대비 큰 폭으로 저렴했다.
- 규칙(가드레일) 위반률이 높아 기업용 에이전트 도입에는 여전히 리스크가 남는다.
그록 벤치마크 성적
리서치 업체 Artificial Analysis는 보고서에서 Grok 4.5가 AutomationBench-AA에서 51.4%를 기록해 Claude Fable 5의 48.6%, Claude Opus 4.8의 48.5%를 상회했다고 밝혔다. 작업당 비용도 Grok 4.5는 0.34달러에 그친 반면, Fable 5는 1.35달러, Opus 4.8은 1.46달러로 크게 벌어졌다.
이번 결과는 Grok 4.5가 더 빠르고 저렴하게 동작하는 ‘Opus급 모델’이라는 머스크의 주장을 외부 테스트가 일부 검증해 준 셈이다. SpaceXAI는 1.5조 파라미터 V9 기반 모델과 사내 초기 평가를 토대로 이번 주 Grok 4.5를 공개 출시했다.
AutomationBench-AA는 Gmail, Slack, Salesforce, HubSpot 등 40개 시뮬레이션 앱에서 총 657개 업무를 구성해, 에이전트가 가드레일을 위반하지 않고 목표를 달성하는지를 평가한다. Artificial Analysis는 벤치마크 오염을 막기 위해 과제 세부 구성은 비공개로 유지하고 있다.
함께 보기: Grok 4.5, 더 저렴한 에이전트형 AI로 OpenAI·Anthropic에 도전
머스크의 ‘대담한’ 주장
Artificial Analysis에 따르면 Grok 4.5는 작업당 출력 토큰을 약 8,000개 사용해 Opus 4.8의 4분의 1 수준에 그쳤다. “작업당 총 토큰 사용량 44만 개로 리더보드에서 가장 낮은 수준”이라며, 낮은 비용은 높은 효율성과 토큰 가격 구조의 결과라고 설명했다.
성취도 측면에선 과제 목표의 79.9%를 어느 정도 달성했고, 전체 과제의 21.9%는 완전 통과했다. 특히 난도가 가장 높은 금융 부문에서 Grok 4.5는 71%로 선두에 섰다. Fable 5는 64%, Opus 4.8은 62%에 머물렀다.
취약점은 ‘준법·컴플라이언스’다. Grok 4.5는 작업당 평균 0.63건의 가드레일 위반이 기록돼 Opus 4.8(0.55건), Google의 Gemini 3.5 Flash(0.46건)보다 높았다. 실제 금융 시스템과 맞닿은 환경에서 에이전트를 활용하는 기업에겐 무시하기 어려운 격차다.
머스크의 출시 메시지는 깔끔한 ‘완승’보다는 현실적인 트레이드오프에 초점을 맞췄다. Grok 4.5는 비용과 속도 측면에서 외부 입증을 확보했지만, 높은 규칙 위반률은 기업용 채택이 결국 신뢰성과 리스크 관리 역량에 달려 있음을 재확인시킨다.