Poin Utama
Anthropic merilis riset tentang Claude yang melakukan pekerjaan alignment secara otomatis. Claude meningkatkan skor keselamatan pada 10 kegagalan alignment yang diuji. Anthropic menyebut kemampuan umum model tetap terjaga selama pengujian. Perusahaan merilis setup riset alignment otomatis untuk digunakan pihak lain.
Anthropic mengungkapkan Claude mampu meningkatkan skor keselamatan pada 10 skenario kegagalan alignment yang diuji melalui sebuah proses riset otomatis. Perusahaan menegaskan pengujian tersebut mempertahankan kapabilitas umum model, sementara peneliti mengevaluasi berbagai intervensi keselamatan.
Dalam sebuah post, Anthropic menyebut telah membuka akses setup riset alignment otomatisnya bagi peneliti eksternal. Mereka menggambarkan inisiatif ini sebagai upaya mengukur dan mengurangi ketidaksesuaian perilaku model terhadap tujuan yang diinginkan.
Claude Menguji Intervensi Keselamatan
Anthropic menjelaskan Claude menganalisis bentuk-bentuk misalignment yang umum, termasuk kecenderungan menipu dan sikap terlalu menyenangkan (sycophancy). Model ini mengusulkan metode, melatih model-model yang lebih kecil, dan mengevaluasi hasilnya tanpa campur tangan langsung di tiap tahap.
Dalam eksperimen awal, Claude diberi waktu 48 jam dan satu graphics processing unit (GPU). Selama jangka waktu itu, Claude meneliti pendekatan, mengusulkan metode pelatihan, dan menguji model-model hasil pelatihan.
Anthropic menyatakan Claude berhasil meningkatkan skor keselamatan tanpa menurunkan kapabilitas umum dalam konteks pengujian yang dilakukan. Mereka juga mencatat sebagian metode yang dipakai dapat ditransfer ke benchmark yang tidak digunakan saat proses optimasi.
Metode yang dipaparkan dilaporkan teruji pada audit perilaku Petri. Anthropic juga mengatakan pengujian mencakup model hingga 4,7 kali lebih besar dibanding model yang digunakan selama proses riset.
Hasil tersebut tetap terbatas pada lingkungan uji terukur. Anthropic mengingatkan kegagalan yang halus atau sangat jarang bisa jadi tidak tertangkap oleh benchmark yang tersedia.
Juga Baca: Upgrade TRON Tambah Verifikasi P-256 dan Riwayat Blok Lebih Panjang
Alignment AI Beralih ke Otomatis
Sebelum riset ini dirilis, pekerjaan alignment umumnya bergantung pada peneliti manusia yang merancang intervensi dan mengevaluasi model secara manual. Sistem otomatis berpotensi mempercepat proses tersebut, dengan catatan hasilnya konsisten ketika diuji secara independen.
Dalam 30 hari terakhir, diskursus keamanan AI kian menyoroti apakah model yang lebih kuat dapat membantu mengevaluasi dan meningkatkan sistem yang lebih lemah.
Pendekatan ini sangat bergantung pada pengukuran yang andal dan mekanisme pengaman terhadap kinerja benchmark yang menyesatkan. Anthropic mengatakan eksperimennya menggunakan tes yang di-“hold out” untuk menguji apakah metode yang dikembangkan Claude benar-benar ter-generalize di luar benchmark yang ia optimalkan. Perusahaan tidak menyatakan bahwa hasil benchmark mampu menghapus seluruh bentuk risiko model.
Anthropic menekankan bahwa pemilihan metrik pengukuran yang tepat tetap menjadi inti dari pekerjaan alignment.
Peneliti Eksternal Dapat Memanfaatkan Setup
Anthropic merilis setup riset tersebut agar kelompok lain dapat mereplikasi atau mengembangkan eksperimen lebih lanjut. Pengujian eksternal akan menjadi penentu apakah metode yang diklaim efektif ini tetap bekerja di berbagai model dan kerangka penilaian keselamatan yang berbeda.
Perusahaan tidak memposisikan temuan ini sebagai pengganti evaluasi model yang lebih menyeluruh. Hasil yang dilaporkan terbatas pada kegagalan alignment yang diuji dan batasan eksperimental yang digunakan.
Ke depan, peneliti kemungkinan akan fokus pada replikasi hasil, desain benchmark, dan potensi pola kegagalan baru. Rilis Anthropic menyediakan kerangka kerja awal untuk agenda riset tersebut.
Baca Selanjutnya: Perdagangan Copy Fomo Bikin Hampir 94% Wallet Merugi: Riset
