Były badacz OpenAI, Nick Cammarata, przekonuje, że ok. 90% neuronów w dużych modelach AI ma jedno główne zadanie – podważając w ten sposób teorię, którą sam wcześniej współtworzył.
Najważniejsze wnioski:
- Cammarata twierdzi, że słynne przykłady „poplątanych” neuronów zostały w dużej mierze błędnie zinterpretowane.
- Czołowi badacze uważają jednak, że nowe wyniki niewiele zmieniają ogólny obraz.
- Techniczny artykuł towarzyszący tezom nie został jeszcze opublikowany.
„Audyt” neuronów według Cammraty
Cammarata, obecnie badacz w laboratorium interpretowalności Goodfire, przedstawił swoje stanowisko 15 października w eseju „Neural Networks Are Already Clean”, opublikowanym na stronie already-clean.goodfire.com. W tekście argumentuje, że większość neuronów w modelach liczących nawet biliony parametrów jest dziś „czytelna”, wbrew wcześniejszym wynikom badań. Teza ta podzieliła środowisko naukowe.
W wstępnych audytach modelu Qwen3-32B zespół Goodfire szacuje, że ok. 90% „biegunów” neuronów ma jedno główne zadanie, ok. 7% wykonuje dwa powiązane zadania, a jedynie 2–4% pozostaje niewyjaśnione. Zasadniczą część analizy przeprowadziły agentowe systemy AI.
Cammarata wraca też do najsłynniejszego w tej dziedzinie „polisemantycznego” neuronu, odkrytego w modelu obrazowym InceptionV1. Neuron ten wydawał się reagować zarówno na kocie pyszczki, jak i na przody samochodów. Dziś Cammarata interpretuje go jako detektor kształtu w formie litery V. Spiczaste formy – jak pyski lisów czy płomienie – zwiększają jego aktywność, podczas gdy obłe kształty, np. litera O, ją tłumią.
Zobacz też: Czy latający Roadster Tesli jest w ogóle legalny? Jasnej odpowiedzi nie będzie przed 2028 rokiem
Nanda studzi entuzjazm Cammraty
Roon, pseudonimowy pracownik OpenAI, który deklaruje bliską przyjaźń z Cammratą, napisał, że ta praca może przejść do historii nauki jako przełom. Jednocześnie zastrzegł, że wyniki muszą zostać niezależnie potwierdzone.
Znacznie bardziej powściągliwie wypowiada się Neel Nanda, szef zespołu ds. interpretowalności w Google DeepMind. Określa esej jako interesujący, ale niezmieniający zasadniczo obrazu pola badawczego i prognozuje, że skupienie się wyłącznie na neuronach będzie miało poważne „martwe pola”. Nanda podtrzymuje, że zjawisko superpozycji jest realne, wskazując, że modele językowe przechowują znacznie więcej faktów, niż mają neuronów. Wątpi też, by obserwacje z małych modeli obrazowych dało się bezpośrednio przenieść na znacznie większe systemy.
Jeśli Cammarata ma rację, badacze mogliby szukać oznak oszustwa lub niebezpiecznych zachowań bezpośrednio w obwodach modelu, zamiast polegać na łańcuchach rozumowania – które stają się coraz mniej wiarygodne. Na razie jednak techniczny artykuł uzupełniający esej nie ujrzał światła dziennego, a Goodfire, jako firma zajmująca się interpretowalnością, ma oczywisty interes w promowaniu tej tezy.
Esej oznacza dla Cammraty wyraźną zmianę frontu. W 2020 r. współtworzył z Chrisem Olahem pracę „Zoom In”, która wprowadziła pierwszy obwód interpretowany jako przykład superpozycji – idei, że sieci zbyt małe jak na ilość wiedzy „upychały” niepowiązane pojęcia w tych samych neuronach. Trzy lata później jego automatyczny projekt interpretowalności w OpenAI zidentyfikował jako zrozumiałe jedynie ok. 1,7% neuronów – i to według najbardziej łagodnego kryterium.
Przeczytaj także: ChatGPT wygrywa z Claude Haiku 5.5 w teście 3-2, przegrywa w dopasowanych poradach
