Der frühere OpenAI-Forscher Nick Cammarata vertritt die These, dass rund 90 % der Neuronen in großen KI-Modellen im Wesentlichen genau eine Aufgabe erfüllen – und stellt damit eine Theorie in Frage, an deren Aufbau er selbst mitgewirkt hatte.
Zentrale Punkte:
- Cammarata meint, bekannte Beispiele „verstrickter“ Neuronen seien weitgehend falsch interpretiert worden.
- Mehrere renommierte Forscher sehen trotz der neuen Ergebnisse das Gesamtbild kaum verändert.
- Ein technisches Begleitpaper, das die Thesen untermauern soll, steht noch aus.
Cammaratas Neuronen-Check
Cammarata, inzwischen Forscher im Interpretierbarkeits-Labor Goodfire, hat seine Argumentation am 15. Oktober in einem Essay mit dem Titel „Neural Networks Are Already Clean“ dargelegt. Er behauptet, der Großteil der Neuronen in Modellen mit bis zu Billionen von Parametern sei inzwischen gut lesbar – im Widerspruch zu früheren Studien. Die These hat die Fachwelt gespalten.
In ersten Prüfungen des Modells Qwen3-32B schätzt Goodfire, dass etwa 90 % der Neuronen („Poles“) im Wesentlichen eine Hauptaufgabe haben, rund 7 % zwei eng verwandte Funktionen und lediglich 2 % bis 4 % unerklärt bleiben. Den Großteil der Auswertung übernahmen KI-Agenten.
Cammarata nimmt außerdem das wohl bekannteste „polysemantische“ Neuron des Fachgebiets erneut unter die Lupe – entdeckt im Bildmodell InceptionV1, das scheinbar sowohl auf Katzen-Gesichter als auch auf Autofronten ansprach. Heute interpretiert er es als V-Form-Detektor. Spitz zulaufende Formen wie Fuchsschnauzen oder Flammen aktivieren das Neuron, während rundliche Formen wie der Buchstabe O seine Aktivität ins Negative drücken.
Auch interessant: Ist Teslas fliegender Roadster überhaupt legal? Klare Antwort wohl erst ab 2028
Nanda stellt Cammarata infrage
Roon, ein pseudonymer OpenAI-Mitarbeiter, der eigenen Angaben nach eng mit Cammarata befreundet ist, schrieb, die Arbeit könne als Meilenstein in die Wissenschaftsgeschichte eingehen. Gleichzeitig mahnt er, dass unabhängige Forscher die Resultate erst noch bestätigen müssten.
Neel Nanda, Leiter des Interpretierbarkeits-Teams bei Google DeepMind, äußert sich deutlich zurückhaltender. Der Essay sei interessant, ändere aber am Gesamtbild wenig, schreibt er. Zudem prognostiziert er, dass ein rein neuronenzentrierter Ansatz erhebliche blinde Flecken haben werde. Nanda hält weiterhin an der Superpositions-Hypothese fest: Sprachmodelle speicherten weitaus mehr Fakten, als sie Neuronen besitzen, weshalb zwangsläufig mehrere Konzepte in denselben Neuronen kodiert seien. Zudem bezweifelt er, dass Einsichten aus kleinen Bildmodellen direkt auf große Systeme übertragbar sind.
Sollte Cammarata recht behalten, könnten Forscher künftig gezielt in den Schaltkreisen eines Modells nach Täuschung oder potenziell gefährlichem Verhalten suchen – anstatt sich auf immer schwerer vertrauenswürdige „Chain-of-Thought“-Ausgaben zu stützen. Allerdings ist das technische Begleitpaper bislang nicht veröffentlicht, und Goodfire hat als kommerzielles Interpretierbarkeits-Unternehmen ein klares Eigeninteresse an der vertretenen These.
Der Essay markiert für Cammarata eine deutliche Kehrtwende. 2020 schrieb er gemeinsam mit Chris Olah „Zoom In“, ein Paper, das mit „Zoom In“ die ersten Schaltkreise beschrieb, die als Beleg für Superposition gelesen wurden – also die Idee, dass Netze mit zu wenigen Neuronen unterschiedliche Konzepte in denselben Einheiten „zusammenpacken“. Drei Jahre später stellte ein von ihm bei OpenAI gestartetes, automatisiertes Interpretierbarkeits-Projekt fest, dass nur etwa 1,7 % der Neuronen auch nach großzügiger Bewertung verständlich waren.
Als Nächstes lesen: ChatGPT schlägt Claude Haiku 5.5 im 3-2-Test, verliert aber bei maßgeschneiderten Ratschlägen
