Mantan peneliti OpenAI Nick Cammarata menyatakan sekitar 90% neuron dalam model AI berskala besar hanya memiliki satu fungsi utama, menggoyang teori yang dulu ikut ia bangun sendiri.
Poin Utama:
- Cammarata menilai contoh neuron “kusut” yang selama ini terkenal sebenarnya banyak disalahpahami.
- Sejumlah peneliti papan atas menilai temuan ini tidak mengubah gambaran besar secara berarti.
- Makalah teknis pendamping yang menjadi landasan klaim ini belum diterbitkan.
“Audit” Neuron Versi Cammarata
Cammarata, yang kini meneliti di laboratorium interpretabilitas Goodfire, memaparkan argumennya pada 15 Oktober lewat esai berjudul "Neural Networks Are Already Clean" yang ia unggah. Ia berpendapat bahwa sebagian besar neuron dalam model berparameter hingga triliunan kini sudah dapat “dibaca”, berlawanan dengan kesimpulan studi-studi awal. Klaim ini membuat komunitas riset terbelah.
Dalam audit awal terhadap model Qwen3-32B, tim Goodfire memperkirakan sekitar 90% “tiang neuron” hanya menjalankan satu fungsi utama, sekitar 7% menjalankan dua fungsi yang masih saling terkait, dan hanya 2% hingga 4% yang tetap tidak terjelaskan. Sebagian besar analisis dilakukan oleh agen AI.
Cammarata juga meninjau kembali neuron “polisemantik” paling terkenal di bidang ini, yang ditemukan pada model gambar InceptionV1, dan sebelumnya tampak aktif baik pada wajah kucing maupun bagian depan mobil. Ia kini menafsirkan neuron itu sebagai pendeteksi bentuk V: bentuk runcing seperti moncong rubah dan nyala api memicu aktivasi positif, sedangkan bentuk bulat seperti huruf O justru menekan aktivasinya.
Juga Baca: Apakah Roadster Terbang Tesla Legal? Tak Ada Jawaban Jelas Sebelum 2028
Nanda Menguji Klaim Cammarata
Roon, karyawan OpenAI berakun samaran yang mengaku dekat dengan Cammarata, menulis bahwa pekerjaan ini berpotensi tercatat sebagai tonggak dalam sejarah sains. Namun ia tetap mengingatkan bahwa temuan tersebut perlu direplikasi peneliti lain.
Neel Nanda, kepala tim interpretabilitas di Google DeepMind, bersikap jauh lebih berhati-hati. Ia menilai esai tersebut menarik, tetapi tidak banyak mengubah gambaran besar, dan memprediksi pendekatan yang hanya berfokus pada neuron akan punya titik buta serius. Nanda tetap yakin fenomena superposisi itu nyata, dengan argumen bahwa model bahasa menyimpan jauh lebih banyak fakta dibanding jumlah neuronnya, dan ia meragukan hasil dari model gambar kecil bisa langsung digeneralisasi ke sistem yang jauh lebih besar.
Jika Cammarata benar, peneliti berpotensi langsung melacak pola penipuan atau perilaku berbahaya di level sirkuit model, alih-alih bergantung pada “rantai pemikiran” (chain-of-thought) yang makin sulit dipercaya. Namun, makalah teknis yang dijanjikan belum dirilis, dan Goodfire sebagai perusahaan interpretabilitas jelas punya kepentingan atas kebenaran tesis ini.
Esai ini sekaligus menandai pembalikan tajam posisi Cammarata. Pada 2020 ia menulis makalah "Zoom In" bersama Chris Olah, yang memperkenalkan salah satu sirkuit pertama yang dibaca sebagai superposisi, yakni gagasan bahwa jaringan dengan neuron terbatas “menumpuk” konsep-konsep tak berhubungan dalam neuron yang sama. Tiga tahun kemudian, proyek interpretabilitas otomatis yang ia mulai di OpenAI justru menemukan hanya sekitar 1,7% neuron yang dapat dipahami, bahkan dengan tolok ukur paling longgar.
Baca Juga: ChatGPT Kalahkan Claude Haiku 5.5 Dalam Uji 3-2, Tertinggal Di Saran yang Lebih Personal
