Peneliti Anthropic Jacob Coxon mengundurkan diri pekan ini karena kekhawatiran atas AI yang tak terkendali, dan pimpinan alignment perusahaan itu merespons dengan menempatkan risiko kepunahan umat manusia di atas 10% dalam dekade ini.
Pokok-Pokok Penting:
- Jacob Coxon hengkang dari Anthropic setelah tiga tahun meneliti pretraining di Anthropic dan OpenAI, dengan menuduh kedua perusahaan berlomba menuju sistem yang tak bisa mereka kendalikan.
- Pimpinan sains alignment Anthropic, Evan Hubinger, menempatkan peluang pribadi bahwa AI membunuh seluruh umat manusia di atas 10% dalam 10 tahun ke depan.
- Hubinger menilai model saat ini berisiko rendah dan memusatkan kekhawatiran pada skenario peningkatan diri berulang (recursive self‑improvement).
Jacob Coxon Tinggalkan Anthropic karena Lomba AI
Coxon, 27 tahun, menghabiskan tiga tahun mengerjakan riset pretraining di OpenAI dan Anthropic sebelum ia mengundurkan diri lewat sebuah thread di X pada Rabu dini hari. Ia menulis bahwa tak satu pun dari kedua perusahaan bertindak secara bertanggung jawab, dan keduanya berlomba mengejar superintelligence yang mampu meningkatkan diri sendiri sambil mempertaruhkan nyawa manusia. Unggahan pembuka itu ditonton lebih dari 19 juta kali hanya dalam hitungan jam.
Dalam wawancara terpisah ia memperingatkan bahwa skenario paling agresif kini justru menjadi jalur utama, dan situasi bisa lepas kendali pada akhir tahun depan. Menurutnya, rekan-rekan kini memakai istilah seperti “crunchtime” dan “endgame” untuk menggambarkan arah perkembangan teknologi.
Coxon berlatar belakang matematika sebelum terjun ke pelatihan model. Ia meninggalkan OpenAI awal tahun ini untuk bergabung dengan Anthropic karena reputasi perusahaan tersebut di bidang keamanan. Namun, ia mengatakan kompromi soal keamanan akan tak terelakkan begitu laboratorium pesaing saling kejar-mengejar. Ia kini berargumen bahwa tak ada perusahaan yang bisa membangun AI setara manusia secara bertanggung jawab tanpa intervensi pemerintah atau perlambatan terkoordinasi di seluruh industri.
Baca Juga: Harga XRP Bidik $1,46 Seiring Kembali Aktifnya Akumulasi Paus pada September
Evan Hubinger Nilai Peluang Kepunahan di Atas 10%
Evan Hubinger, pimpinan sains alignment di Anthropic yang bertanggung jawab melakukan stress test pada model-model perusahaan, menanggapi bahwa Coxon menggambarkan situasi dengan tepat. Ia memperkirakan peluang AI memusnahkan seluruh umat manusia berada di atas 10% dalam kurun 10 tahun ke depan.
Hubinger mengatakan perusahaan berupaya sebaik mungkin, namun belum memiliki rencana konkret untuk memecahkan persoalan alignment pada level superintelligence dan tidak jelas berada di jalur yang tepat untuk menemukannya. Ia kemudian menegaskan bahwa model AI saat ini berisiko rendah. Kekhawatiran utamanya terletak pada kemungkinan munculnya superintelligence melalui recursive self‑improvement, di mana sistem melatih dan meningkatkan penerusnya sendiri.
Perkiraan tersebut adalah penilaian pribadi Hubinger, bukan proyeksi resmi perusahaan, dan angka semacam ini bergantung pada asumsi-asumsi yang masih diperdebatkan terkait kemampuan dan pola penerapan AI di masa depan. Anthropic secara terbuka menilai bahwa recursive self‑improvement bukanlah keniscayaan, namun mengakui skenario itu bisa datang lebih cepat daripada kesiapan institusi dan berpotensi meningkatkan peluang manusia kehilangan kendali.
Gelombang Pengunduran Diri Tim Keamanan Anthropic
Coxon bukan peneliti keamanan pertama yang angkat kaki. Mrinank Sharma, yang memimpin tim safeguards di perusahaan tersebut, mengundurkan diri awal tahun ini sambil memperingatkan bahwa dunia berada dalam bahaya, dan menyatakan akan belajar puisi di Inggris.
Anthropic, yang didirikan pada 2021 oleh mantan karyawan OpenAI, membangun reputasinya di atas riset keamanan AI. Hingga Rabu pagi, perusahaan belum menyampaikan tanggapan publik atas keputusan Coxon untuk hengkang.
Selanjutnya: Bitget Tambahkan Materi Blockchain ke Program UNICEF yang Menjangkau 642.000+ Peserta
