Penguji independen memberi skor Anthropic Claude Opus 5 di level 159 pada satu indeks kapabilitas—hanya dua poin di bawah Claude Fable 5—namun penilaian sangat terbelah terutama terkait rekam jejak review kodenya.
Poin Utama:
- Epoch AI memberi skor Claude Opus 5 di 159 pada indeks kapabilitasnya, dibanding 161 untuk Claude Fable 5, dengan hasil setara di rekayasa perangkat lunak.
- CodeRabbit mencatat presisi 39,3% untuk komentar review yang benar‑benar bernilai, naik dari baseline 35,2%, namun menemukan empat kali lebih banyak “nitpick”.
- Penguji korporasi di Cognition dan Zapier melaporkan peningkatan di debug dan otomatisasi bisnis end‑to‑end.
Benchmark Claude Opus 5 Langsung Disorot Ketat
Anthropic merilis model ini pada Jumat dan menyatakan bahwa performanya mendekati “kecerdasan frontier” Fable 5 dengan biaya separuh, diposisikan lebih sebagai alat kerja harian daripada spesialis. Mayoritas penguji independen sependapat secara garis besar, namun berbeda pandang soal detail selisihnya.
Epoch AI menempatkan Opus 5 di skor 159 pada indeks kapabilitas versus 161 untuk Fable 5, dan menilai keduanya seimbang untuk ranah rekayasa perangkat lunak, menurut rangkuman Latent Space yang menunjukkan hasil tersebut.
Artificial Analysis justru menempatkan model ini di peringkat teratas benchmark pekerjaan pengetahuan berbasis agen, mengungguli Fable 5 hampir 150 poin Elo sekaligus memangkas biaya per tugas sekitar 20%. Sejumlah pengembang mempersoalkan indeks kapabilitas itu, berargumen bahwa kenaikan satu poin dibanding Opus 4.8 terlalu meremehkan lompatan performa yang mereka rasakan di pemakaian harian. Salah satu evaluator bahkan menemukan bahwa pengaturan “medium effort” melampaui setelan lebih tinggi pada tes pemrograman.
Juga Baca: BitMEX Akan Tutup Setelah 11 Tahun Tanpa Ada Pembeli
Penilaian Review Kode Bikin Penguji Terbelah
CodeRabbit menguji Opus 5 terhadap sekitar 100 pola error yang diambil dari pull request open‑source nyata, dengan tiga kali pengujian untuk tiap konfigurasi, dan mencatat presisi 39,3% untuk komentar yang benar‑benar dapat ditindaklanjuti.
Angka itu mengungguli baseline 35,2% dari reviewer produksi internalnya, namun model justru menangkap lebih sedikit bug yang sudah diketahui sambil menghasilkan empat kali lebih banyak “nitpick” — catatan bernilai rendah yang tetap harus disaring manual oleh engineer.
Pada pengaturan effort bawaan, presisi turun ke 26,4%. Kesimpulan perusahaan: tim sebaiknya memperlakukan Opus 5 sebagai reviewer kedua yang difokuskan pada presisi, bukan sebagai upgrade langsung untuk pipeline review yang sudah berjalan stabil. Claire Vo, yang mengelola evaluasi tujuh model untuk tim produk, menyebut model ini “brilian tapi mengesalkan”, menyoroti kecenderungan neurotik dan satu konflik merge yang sama sekali enggan disentuh model.
Pelanggan Anthropic Melihat Lompatan di Agen Otomasi
Scott Wu, CEO Cognition, mengatakan Opus 5 mendekati performa setara Fable dengan biaya separuh di dalam Devin, dengan keunggulan khusus pada debugging dan analisis akar masalah. Wade Foster, CEO Zapier, menyebut model ini menempati puncak papan peringkat otomatisasi internal perusahaannya tanpa menghabiskan token lebih banyak dibanding rilis Claude sebelumnya dengan harga sama, yaitu $5 per satu juta token input.
Pujian tersebut disertai catatan. Anthropic menegaskan bahwa Opus 5 masih tertinggal dari model Mythos 5 untuk tugas keamanan siber ofensif, dan permintaan yang ditandai oleh classifier keselamatan perusahaan akan otomatis “turun kelas” ke Opus 4.8.
Sikap hati‑hati ini datang setelah periode bergejolak di lini teratas. Fable 5 sempat diluncurkan pada Juni, lalu ditarik hanya beberapa hari kemudian, sebelum akhirnya kembali tersedia bagi pengguna pada awal Juli.
Baca Berikutnya: Harga Saham HubSpot Turun 12,7% dan Analis Menuding Agen Baru OpenAI