元OpenAI研究者の**ニック・カマラータ（Nick Cammarata）**氏が、大規模AIモデルに含まれるニューロンの約9割は「基本的に一つの仕事しかしていない」と主張し、自身も構築に関わった従来理論を事実上、修正する立場に回った。
主なポイント
- カマラータ氏は、解釈不能な「ごちゃ混ぜニューロン」の代表例は、実は読み違えだったと指摘。
- 著名研究者の一部は「全体像はほとんど変わらない」と慎重姿勢を崩していない。
- 主張を裏付ける詳細なテクニカルペーパーは、現時点でまだ公開されていない。
カマラータ氏の「ニューロン監査」
現在は解釈可能性（インタープリタビリティ）に特化したラボGoodfireの研究者であるカマラータ氏は、10月15日付のエッセイ「Neural Networks Are Already Clean（ニューラルネットワークはすでにクリーンだ）」で自身の見解を公表した。
同氏は、兆単位パラメータ規模に至るまでのモデルについて、「大半のニューロンはすでにどのような機能を担っているか読み解ける」と主張し、過去の研究が示唆してきた「解像度の低さ」とは異なる像を提示した。この見解は研究コミュニティを二分させており、論争が広がっている。
Goodfireが実施したQwen3-32Bモデルの予備的な「ニューロン監査」によると、ニューロンの「ポール（極）」の約90％は一つの明確な役割のみを担い、約7％が関連性の高い二つの役割、残る2〜4％のみがなお説明困難な状態だという。分析作業の多くはAIエージェントが担ったとされる。
カマラータ氏はまた、分野で最も有名な「ポリセマンティック・ニューロン」（複数の意味・概念を同時に担うニューロン）として知られる事例を再検証した。これは画像モデルInceptionV1で見つかったもので、「ネコの顔」と「自動車のフロント」に同時に強く反応するように見えたニューロンだ。同氏はこれを、現在では「V字形」を検出するニューロンと解釈し直している。キツネの鼻先や炎のような尖った形状には強く反応し、アルファベットのOのような丸い形状は逆に活性を押し下げるという。
関連記事: テスラの空飛ぶロードスターは合法か 2028年までは法的判断つかず
ナンダ氏は冷静な評価
オンライン上でRoonの名で知られる匿名のOpenAI社員は、自身はカマラータ氏の親しい友人だとしたうえで、今回の研究は「科学史に残り得る成果だ」と称賛した。ただし同氏も、他の研究者による追試・検証が不可欠だと慎重な姿勢を示している。
一方、Google DeepMindで解釈可能性チームを率いる**ニール・ナンダ（Neel Nanda）**氏は、より抑制的なコメントを寄せた。同氏はエッセイ自体は興味深いとしたうえで、「全体像は大きく変わらない」と述べ、ニューロン単体の解析には本質的な死角が残ると指摘。言語モデルは保有する「事実」の数に比べてニューロン数が明らかに足りず、「重ね合わせ（スーパー・ポジション）」は依然として実在するとみる。小規模な画像モデルからの知見が、より巨大で複雑なシステムへそのまま転用できるかについても懐疑的だ。
もしカマラータ氏の見立てが正しければ、研究者は「思考チェーン」など出力テキストを迂回的に分析するのではなく、モデル内部の回路レベルで直接「欺瞞」や危険な挙動の兆候を探索できる可能性が出てくる。思考チェーンは近年、誘導やハッキングの影響を受けやすく、信頼性に疑問符が付けられているためだ。ただし、主張の根拠となるテクニカルな補足論文は依然として未公開であり、解釈可能性専業のGoodfireには、この仮説が正しいと証明される明確なインセンティブも存在する。
今回のエッセイは、カマラータ氏自身にとっても大きな方向転換となる。同氏は2020年に**クリス・オラ（Chris Olah）**氏らと共著した論文「Zoom In」で、ネットワーク内の限られたニューロンに複数の無関係な概念を押し込める「スーパー・ポジション」概念を初めて本格的に提示した。ところがその3年後、OpenAIで自身が立ち上げた自動解釈プロジェクトでは、最も甘い基準を用いても「意味を理解できるニューロン」は全体の約1.7％に過ぎないという結果が出ていた。
