Penguji independen memberi skor Anthropic Claude Opus 5 sebesar 159 pada satu indeks kapabilitas, hanya dua poin di bawah Claude Fable 5, namun penilai terbelah tajam soal rekam jejaknya dalam review kode.
Poin Penting:
- Epoch AI memberi nilai 159 pada Claude Opus 5 di indeks kapabilitas, versus 161 untuk Claude Fable 5, dengan skor rekayasa perangkat lunak yang setara.
- CodeRabbit mencatat presisi 39,3% untuk komentar review yang benar-benar dapat ditindaklanjuti, naik dari baseline 35,2%, tetapi jumlah “nitpick” melonjak empat kali lipat.
- Penguji korporasi di Cognition dan Zapier melaporkan peningkatan pada debugging dan otomatisasi bisnis ujung-ke-ujung.
Benchmark Claude Opus 5 Langsung Disorot Ketat
Anthropic merilis model ini pada hari Jumat dan menyatakan bahwa Opus 5 mendekati kecerdasan frontier Fable 5 dengan harga separuh, diposisikan sebagai alat kerja harian, bukan model spesialis. Mayoritas penguji pihak ketiga sepakat mengenai gambaran besarnya, tapi berbeda dalam menilai jarak performanya.
Epoch AI menempatkan Opus 5 di skor 159 pada indeks kapabilitas mereka, dibanding 161 untuk Fable 5, dan menilai keduanya imbang dalam rekayasa perangkat lunak, seperti dirangkum Latent Space dalam laporan.
Artificial Analysis justru menobatkan Opus 5 sebagai peringkat pertama di benchmark kerja pengetahuan berbasis agen, mengalahkan Fable 5 hampir 150 poin Elo sekaligus memangkas biaya per tugas sekitar 20%. Sejumlah developer mempertanyakan indeks kapabilitas tersebut. Menurut mereka, kenaikan satu poin dibanding Opus 4.8 terlalu meremehkan lompatan kualitas yang mereka rasakan dalam pemakaian harian. Seorang evaluator bahkan menemukan bahwa level “medium effort” mengalahkan pengaturan yang lebih tinggi dalam tes pengkodean.
Baca Juga: BitMEX Tutup Setelah 11 Tahun Tanpa Satupun Calon Pembeli
Penilaian Review Kode Bikin Penguji Berseberangan
CodeRabbit menguji Opus 5 terhadap sekitar 100 pola error yang diambil dari pull request open-source nyata, tiga kali percobaan untuk setiap konfigurasi, dan mengukur presisi 39,3% pada komentar yang benar-benar bisa ditindaklanjuti.
Angka itu mengalahkan baseline 35,2% yang dicatat reviewer produksinya saat ini, tetapi Opus 5 justru menangkap lebih sedikit bug yang sudah diketahui dan menghasilkan empat kali lebih banyak nitpick—catatan bernilai rendah yang tetap harus disaring manual oleh engineer.
Pada pengaturan effort default, presisi anjlok ke 26,4%. CodeRabbit menyimpulkan bahwa tim sebaiknya memperlakukan Opus 5 sebagai “reviewer kedua” yang fokus presisi, bukan pengganti lurus di pipeline review yang sudah stabil. Claire Vo, yang mengelola evaluasi tujuh model untuk tim produk, menyebut model ini “brilian tapi menyebalkan”, menyoroti kecenderungan neurotik dan kasus konflik merge yang sama sekali enggan disentuh Opus 5.
Pelanggan Anthropic Melihat Peningkatan Agen AI
Scott Wu, CEO Cognition, mengatakan Opus 5 mendekati performa setara Fable di dalam Devin dengan biaya hanya separuh, terutama kuat di debugging dan analisis akar masalah. Wade Foster, CEO Zapier, menyebut model ini memuncaki papan peringkat otomatisasi internal perusahaannya tanpa mengonsumsi lebih banyak token dibanding rilis Claude sebelumnya yang juga dipatok di harga US$5 per satu juta token input.
Namun pujian tersebut dibarengi sejumlah catatan. Anthropic menyatakan bahwa Opus 5 masih tertinggal dari Mythos 5 dalam tugas offensive cybersecurity, dan setiap permintaan yang ditandai oleh classifier keamanan perusahaan otomatis “turun kelas” ke Opus 4.8.
Sikap hati-hati ini menyusul periode bergejolak di jajaran model teratas Anthropic. Fable 5 diluncurkan pada Juni, lalu ditarik dari layanan hanya beberapa hari kemudian, sebelum kembali tersedia bagi pengguna pada awal Juli.
Baca Selanjutnya: HubSpot Anjlok 12,7% dan Analis Menuding Agen Baru OpenAI