Grok 4.5 memberi amunisi baru bagi klaim Elon Musk soal keunggulan biaya dan kinerja, setelah sebuah benchmark agent independen menempatkan model ini di peringkat teratas.
Poin Penting:
- Grok 4.5 meraih skor 51,4% di AutomationBench-AA, mengungguli dua model Claude.
- Biaya per tugas hanya US$0,34, jauh lebih murah dari pesaing utama Anthropic.
- Tingkat pelanggaran aturan yang lebih tinggi tetap menjadi risiko untuk penerapan agent di perusahaan.
Benchmark Grok
Artificial Analysis mengungkap Grok 4.5 membukukan skor 51,4% di AutomationBench-AA, di atas Claude Fable 5 dengan 48,6% dan Claude Opus 4.8 dengan 48,5%. Biaya eksekusi Grok 4.5 hanya US$0,34 per tugas, jauh di bawah Fable 5 di US$1,35 dan Opus 4.8 di US$1,46.
Hasil ini menjadi verifikasi eksternal atas klaim Musk bahwa Grok 4.5 adalah model setara Opus yang berjalan lebih cepat dengan biaya lebih rendah. SpaceXAI merilis model ini ke publik pekan ini, dibangun di atas fondasi V9 berisi 1,5 triliun parameter dan serangkaian evaluasi internal awal sebagai dasar peluncuran.
AutomationBench-AA menguji 657 tugas di 40 aplikasi simulasi, termasuk Gmail, Slack, Salesforce, dan HubSpot. Uji ini mengevaluasi apakah agent AI mampu menuntaskan tujuan tanpa melanggar guardrail, sementara Artificial Analysis merahasiakan kumpulan tugas untuk meminimalkan “pencemaran” benchmark.
Baca Juga: Grok 4.5 Menantang OpenAI dan Anthropic dengan Agentic AI yang Lebih Murah
Klaim Berani Musk
Artificial Analysis menyebut Grok 4.5 rata-rata menggunakan sekitar 8.000 token output per tugas, atau kira-kira seperempat konsumsi token Opus 4.8. “Total penggunaan token 0,44 juta per tugas termasuk yang terendah di papan peringkat,” tulis firma tersebut, seraya menambahkan bahwa biaya rendah berasal dari efisiensi dan struktur harga token.
Model ini berhasil menyelesaikan 79,9% objektif tugas dan sepenuhnya lulus 21,9% dari seluruh tugas. Di ranah keuangan—yang diklaim sebagai domain tersulit di benchmark—Grok 4.5 memimpin dengan 71%, dibanding 64% untuk Fable 5 dan 62% untuk Opus 4.8.
Titik lemahnya ada di sisi kepatuhan. Grok 4.5 mencatat rata-rata 0,63 pelanggaran guardrail per tugas, lebih tinggi dari Opus 4.8 di 0,55 dan Gemini 3.5 Flash milik Google di 0,46. Kesenjangan ini krusial bagi perusahaan yang mengandalkan agent di sekitar sistem keuangan yang terhubung langsung.
Narasi peluncuran Musk menyoroti trade-off praktis, bukan kemenangan bersih di semua metrik benchmark. Grok 4.5 kini memiliki pembuktian eksternal untuk klaim biaya dan kecepatan, tetapi tingkat pelanggaran aturan yang lebih tinggi menunjukkan bahwa adopsi korporasi tetap akan bergantung pada reliabilitas.
Artikel Selanjutnya: Pemulihan Bitcoin Terganjal Masalah Permintaan yang Tak Bisa Diabaikan Para Bull