Eski OpenAI araştırmacısı Nick Cammarata, büyük yapay zekâ modellerindeki nöronların yaklaşık %90’ının tek bir temel işlev yürüttüğünü, geri kalan azınlığın ise sınırlı sayıda ek role sahip olduğunu savunuyor. Bu tablo, bizzat kendisinin inşa etmeye katkı verdiği yerleşik “süperpozisyon” anlatısını ciddi biçimde sorgulatıyor.
Öne Çıkan Başlıklar:
- Cammarata’ya göre literatürde meşhur olmuş “düğümlenmiş nöron” örnekleri büyük ölçüde yanlış yorumlandı.
- Bazı önde gelen araştırmacılar, bulguların genel resimde köklü bir değişiklik yaratmadığını düşünüyor.
- İddiaları desteklemesi beklenen teknik eşlikçi makale ise henüz yayımlanmadı.
Cammarata’nın “Nöron Denetimi”
Bugün yorumlanabilirlik odaklı Goodfire laboratuvarında çalışan Cammarata, tezini 15 Ekim’de yayımladığı "Neural Networks Are Already Clean" başlıklı makalede ayrıntılı biçimde ortaya koydu. Cammarata, trilyonlarca parametreye uzanan büyük modellerde nöronların büyük bölümünün artık “okunabilir” hale geldiğini; önceki çalışmaların bu konuda yanlış bir karamsarlık oluşturduğunu savunuyor. Bu iddia araştırma camiasını ikiye bölmüş durumda.
Goodfire’ın Qwen3-32B modelinde yaptığı ön incelemelere göre nöron kutuplarının yaklaşık %90’ı tek bir ana göreve sahip. Yaklaşık %7’si birbiriyle ilişkili iki görevi üstlenirken, yalnızca %2 ila %4’lük bir bölüm açıklanamaz durumda kalıyor. Analizin büyük kısmını yapay zekâ tabanlı yardımcı ajanlar yürütmüş.
Cammarata, alanın en meşhur “polisemantik” nöron örneğini de yeniden ele alıyor. InceptionV1 isimli görüntü modelinde tespit edilen bu nöronun hem kedi yüzlerine hem de otomobil önlerine tepki verdiği, dolayısıyla birden çok kavramı aynı anda kodladığı düşünülüyordu. Cammarata, bugün aynı nöronu esasen bir “V-şekli” algılayıcısı olarak okuyabileceğini söylüyor: Tilki burunları ya da alev gibi sivri uçlu şekiller nöronu etkinleştirirken, O harfi gibi yuvarlak şekiller aktivasyonu negatife çekiyor.
Ayrıca Oku: Tesla’nın Uçan Roadster’ı Yasal mı? 2028’e Kadar Net Yanıt Beklenmiyor
Nanda’dan Temkinli Yaklaşım
OpenAI’de çalışan ve takma isim kullanan Roon, Cammarata ile yakın arkadaş olduğunu belirterek çalışmanın bilim tarihi açısından dönüm noktası olabileceğini yazdı. Ancak o bile bulguların bağımsız ekiplerce doğrulanması gerektiğinin altını çiziyor.
Google DeepMind’de yorumlanabilirlik ekibini yöneten Neel Nanda ise çok daha ihtiyatlı. Makalenin “ilginç” olduğunu ancak büyük resimde radikal bir değişime işaret etmediğini belirten Nanda, yalnızca nöron düzeyinde analiz yapmanın ciddi kör noktalar bırakacağını öngörüyor. Nanda, süperpozisyonun hâlâ gerçek olduğuna inandığını; dil modellerinin barındırdığı olgu sayısının, nöron sayısını açık ara aştığını ve küçük görüntü modellerinden çıkan sonuçların büyük sistemlere doğrudan taşınamayacağını savunuyor.
Cammarata haklıysa, araştırmacılar modellerin “düşünce zincirlerine” güvenmek yerine, doğrudan devre düzeyinde aldatıcı ya da tehlikeli davranış izleri arayabilir. Bu önemli; zira zincirleme akıl yürütme çıktıları giderek daha az güvenilir bulunuyor. Öte yandan, iddiaları destekleyecek teknik eşlikçi makale hâlâ yayımlanmış değil ve yorumlanabilirlik odaklı bir şirket olan Goodfire’ın bu tezde açık bir çıkarı bulunduğu da not edilmeli.
Makale, Cammarata için belirgin bir geri dönüş anlamına geliyor. Kendisi 2020’de Chris Olah ile birlikte kaleme aldığı "Zoom In" çalışmasında, alanın ilk “süperpozisyon” devresini tanıtan ekipte yer almıştı. Bu yaklaşım, nöron sayısı yetersiz ağların ilgisiz kavramları aynı nöronlara sıkıştırdığı fikrine dayanıyordu. Cammarata’nın OpenAI’de başlattığı otomatik yorumlanabilirlik projesi ise üç yıl sonra, en cömert ölçütlerle bile nöronların yalnızca yaklaşık %1,7’sinin anlaşılabildiğini rapor etmişti.
Sıradaki Haber: ChatGPT, 3-2 Testinde Claude Haiku 5.5’i Geçti, Kişiselleştirilmiş Tavsiyede Geride Kaldı
