L’ancien chercheur d’OpenAI Nick Cammarata affirme qu’environ 90 % des neurones d’un grand modèle d’IA n’exercent qu’une seule fonction, remettant en cause une théorie qu’il avait lui‑même contribué à forger.
Points clés :
- Cammarata estime que les célèbres exemples de neurones « enchevêtrés » ont été en grande partie mal interprétés.
- Plusieurs chercheurs de premier plan jugent toutefois que ces résultats ne changent pas fondamentalement le tableau d’ensemble.
- Un article technique détaillant et étayant ces affirmations n’a pas encore été publié.
L’« audit » de neurones de Cammarata
Aujourd’hui chercheur au laboratoire d’interprétabilité Goodfire, Cammarata a exposé sa thèse le 15 octobre dans un essai intitulé « Neural Networks Are Already Clean » publié sur le site du labo, où il développe l’idée que la plupart des neurones, y compris dans des modèles comptant jusqu’à des milliers de milliards de paramètres, sont désormais lisibles, à rebours des travaux antérieurs. Cette prise de position a fracturé la communauté de recherche.
Dans des audits préliminaires du modèle Qwen3‑32B, Goodfire estime qu’environ 90 % des « pôles » de neurones n’ont qu’une fonction principale, près de 7 % en ont deux, mais liées entre elles, et seulement 2 % à 4 % restent inexpliqués. L’essentiel de l’analyse a été réalisé par des agents d’IA.
Cammarata revisite également le neurone « poly-sémantique » le plus célèbre du domaine, repéré dans le modèle d’images InceptionV1, qui semblait s’activer à la fois sur des visages de chat et des faces avant de voiture. Il le réinterprète désormais comme un détecteur de formes en V : des formes pointues, comme les museaux de renard ou les flammes, déclenchent une forte activation, tandis que des formes arrondies, comme la lettre O, la font basculer en négatif.
À lire aussi : La Tesla Roadster volante est‑elle seulement légale ? Aucune réponse claire avant 2028
Nanda met Cammarata au défi
Roon, employé d’OpenAI écrivant sous pseudonyme et se présentant comme un proche ami de Cammarata, estime que ce travail pourrait rester comme une date dans l’histoire des sciences. Il prévient toutefois qu’il faudra des confirmations indépendantes.
Neel Nanda, qui dirige l’équipe d’interprétabilité chez Google DeepMind, se montre nettement plus réservé. Selon lui, l’essai est intéressant mais ne modifie guère la vision d’ensemble, et il anticipe que l’étude des seuls neurones laissera d’importantes zones d’ombre. Nanda continue de défendre la réalité de la superposition, en avançant que les modèles de langage stockent bien plus de faits qu’ils n’ont de neurones, et il doute que des résultats obtenus sur de petits modèles d’images se transposent à des systèmes beaucoup plus vastes.
Si Cammarata a raison, les chercheurs pourraient chercher directement, dans les circuits internes d’un modèle, des signaux de tromperie ou de comportements dangereux, plutôt que de s’appuyer sur les chaînes de raisonnement générées en langage naturel, jugées de moins en moins fiables. Reste que l’article technique détaillé n’a toujours pas été publié et que Goodfire, en tant qu’entreprise spécialisée dans l’interprétabilité, a un intérêt évident à défendre cette thèse.
Cet essai marque un revirement spectaculaire pour Cammarata. En 2020, il cosignait avec Chris Olah « Zoom In », un article qui présentait les premiers circuits interprétés comme des preuves de superposition, l’idée que des réseaux manquant de neurones superposent des concepts sans lien clair au sein des mêmes unités. Trois ans plus tard, un projet d’interprétabilité automatisée qu’il avait lancé chez OpenAI ne parvenait à juger compréhensibles qu’environ 1,7 % des neurones, même en adoptant la métrique la plus généreuse.
À suivre : ChatGPT surclasse Claude Haiku 5.5 sur un test 3‑2, mais perd sur les conseils personnalisés
