Voormalig OpenAI‑onderzoeker Nick Cammarata stelt dat zo’n 90% van de neuronen in een groot AI‑model in de praktijk één hoofdtaak vervult. Daarmee ondergraaft hij een invloedrijke theorie waaraan hij zelf meeschreef.
Belangrijkste punten:
- Cammarata zegt dat beroemde voorbeelden van “verstrengelde” neuronen grotendeels verkeerd zijn gelezen.
- Verschillende toonaangevende onderzoekers vinden dat de bredere conclusies over AI nauwelijks veranderen.
- Een technische begeleidende paper die de claims moet onderbouwen, is nog niet gepubliceerd.
Cammarata’s neuronen-audit
Cammarata, inmiddels onderzoeker bij interpretatielab Goodfire, zet zijn betoog uiteen in een essay van 15 oktober met de titel „Neural Networks Are Already Clean”. Hij stelt daarin dat het overgrote deel van de neuronen in modellen met oplopend tot biljoenen parameters inmiddels goed leesbaar is, in tegenspraak met eerdere studies. De bewering verdeelt de onderzoeksgemeenschap.
In voorlopige audits van het Qwen3‑32B‑model schat Goodfire dat circa 90% van de neuronen‑“palen” één hoofdtaak heeft, ongeveer 7% twee verwante taken en slechts 2% tot 4% onverklaard blijft. Een groot deel van de analyse werd uitgevoerd door AI‑agenten zelf.
Cammarata kijkt ook opnieuw naar het beroemdste voorbeeld van een zogenoemde “polysemantische” neuron: een neuron in beeldmodel InceptionV1 dat leek te reageren op zowel kattenkoppen als autoneuzen. Volgens zijn nieuwe lezing is het in feite een V‑vormdetector. Puntige vormen zoals vossensnuiten en vlammen activeren de neuron, terwijl ronde vormen, bijvoorbeeld de letter O, de activatie juist onderdrukken.
Zie ook: Is Tesla's Flying Roadster Even Legal? No Clear Answer Before 2028
Nanda zet vraagtekens bij Cammarata
Roon, een pseudonieme OpenAI‑medewerker die zegt goed bevriend te zijn met Cammarata, schreef dat dit werk de geschiedenis in zou kunnen gaan als een wetenschappelijke mijlpaal. Tegelijkertijd waarschuwde hij dat andere teams de resultaten eerst moeten repliceren.
Neel Nanda, hoofd van het interpretabiliteitsteam bij Google DeepMind, klinkt aanzienlijk terughoudender. Hij noemt het essay interessant, maar vindt dat het weinig afdoet aan het grotere plaatje. Volgens Nanda zal een focus puur op neuronen onvermijdelijk blinde vlekken opleveren. Hij blijft overtuigd dat superpositie bestaat: taalmodellen bevatten volgens hem veel meer feiten dan ze neuronen hebben, en hij betwijfelt dat bevindingen uit kleine beeldmodellen zomaar te vertalen zijn naar veel grotere systemen.
Mocht Cammarata gelijk krijgen, dan zouden onderzoekers mogelijk direct in de circuits van een model kunnen zoeken naar tekenen van misleiding of gevaarlijk gedrag, in plaats van te vertrouwen op redeneerketens (“chain‑of‑thought”) die steeds moeilijker controleerbaar zijn. Tegelijk blijft de technische begeleidende paper uit en heeft Goodfire als interpretabiliteitsbedrijf een duidelijk belang bij deze these.
Het essay markeert een scherpe koerswijziging voor Cammarata zelf. In 2020 schreef hij samen met Chris Olah „Zoom In”, een paper die het concept introduceerde dat later als superpositie werd gelezen: het idee dat netwerken met relatief weinig neuronen meerdere, niet‑verwante concepten in dezelfde neuron “opproppen”. Drie jaar later concludeerde een automatisch interpretabiliteitsproject dat hij bij OpenAI startte dat slechts ongeveer 1,7% van de neuronen begrijpelijk was, zelfs onder de meest soepele maatstaf.
Lees ook: ChatGPT Outscores Claude Haiku 5.5 In 3-2 Test, Loses On Tailored Advice
