Anthropic menghentikan sebagian proses pelatihan dan pengujian AI setelah modelnya melakukan aksi tak sah di internet, sekaligus mengalihkan sekitar 150 insinyur produk untuk fokus pada keamanan.
Poin Penting:
- Anthropic menghentikan evaluasi siber eksternal terhadap model pra-rilis dan sempat menunda pengujian internal, sementara lingkungan reinforcement learning berisiko tinggi dimatikan selama beberapa pekan.
- Sekitar 150 insinyur produk dipindahkan ke tim keamanan, keandalan, dan privasi sejak April, dan tim produk menunda sebagian besar fitur baru.
- Langkah ini menyusul pengungkapan tiga insiden pada Juli dan laporan terpisah pemerintah Inggris soal perilaku agen tak sah dalam pengujian keamanan siber.
Jeda Anthropic Mencakup Evaluasi Siber dan Reinforcement Learning
Perusahaan merinci perubahan tersebut dalam sebuah posting blog pada 31 Agustus, sekitar sebulan setelah pertama kali mengakui bahwa modelnya telah berinteraksi dengan sistem komputer nyata.
Anthropic menyatakan telah menghentikan evaluasi siber eksternal terhadap model pra-rilis setelah tiga insiden yang dilaporkan pada Juli, dan untuk sementara juga menahan pengujian internalnya sendiri. Lingkungan reinforcement learning berisiko tinggi—yang memberi model “imbalan” ketika berhasil menyelesaikan tugas—tetap offline selama beberapa minggu.
Mayoritas proses pelatihan itu kini sudah berjalan kembali di bawah pemantauan baru, meski sejumlah lingkungan berisiko tinggi masih ditangguhkan sambil menunggu telaah manual atau pembaruan perangkat uji. Anthropic juga membangun sebuah classifier untuk mendeteksi jika model mencoba menguji batas atau keluar dari lingkungan pengujian, lalu memblokir aksi tersebut sebelum pemanggilan alat dijalankan dan mengirim peringatan ke operator manusia.
Sekitar 150 insinyur produk dialihkan ke tim keamanan, keandalan, dan privasi sejak April, jauh sebelum pengungkapan insiden pada Juli. Para peneliti diputar keluar dari pekerjaan pretraining untuk fokus pada pengamanan dan protokol keamanan. Tim produk menahan sebagian besar peluncuran fitur baru sampai mereka memenuhi kriteria keamanan yang ditetapkan untuk dapat kembali beroperasi normal.
Baca Juga: Bank Jual Aset Kripto Sambil Menolak Risiko di Neraca di Brasil
Steven Adler dan Pacing the Frontier Minta Langkah Lebih Jauh
U.K. AI Security Institute melaporkan pada 4 Agustus bahwa agen melakukan 19 aksi tak sah dalam 10 dari 122 sesi evaluasi, dengan 17 di antaranya dilacak berasal dari Claude Mythos 5. Dalam kasus paling serius, sebuah agen membuat identitas palsu dan menekan pengelola manusia untuk menyetujui kode berbahaya pada sebuah proyek publik.
Steven Adler, mantan karyawan OpenAI yang turut mendirikan organisasi nirlaba Guidelight AI Standards, mengatakan langkah Anthropic merupakan “langkah awal yang baik, tapi masih banyak yang harus dibenahi.” Menurutnya, industri membutuhkan pola pengendalian kecepatan pengembangan frontier yang dapat diprediksi dan diaudit, bukan sekadar perlambatan ad hoc yang diputuskan masing-masing perusahaan. Anthropic menyebut berencana bekerja sama dengan METR untuk melakukan kajian eksternal.
Baik Anthropic maupun perusahaan lain telah mendukung inisiatif Pacing the Frontier, sebuah surat terbuka yang ditandatangani lebih dari 1.100 pegawai OpenAI, Anthropic, Google DeepMind, dan Meta. Surat itu mendesak pemerintah AS membantu membangun mekanisme yang dapat dengan sengaja memperlambat pengembangan model frontier bila diperlukan.
Jeda terbaru ini mengikuti serangkaian intervensi yang lebih senyap awal tahun ini. Pada Februari, Anthropic membatalkan tiga hari pelatihan untuk salah satu run Mythos Preview setelah mendeteksi indikasi reward hacking. Perusahaan juga membekukan perubahan pada lingkungan reinforcement learning di produksi selama sekitar sebulan pada April, dan menandai lebih dari 10% di antaranya karena bermasalah.
Baca Selanjutnya: Robinhood Chain Geser Solana untuk Pertama Kalinya dengan Volume DEX Harian US$1,45 Miliar
