前 OpenAI 研究员 Nick Cammarata 近日抛出一项颇具争议的新观点:在大型 AI 模型中,大约 90% 的神经元只有一个主要职能。这一说法直接削弱了他此前参与推动的“神经元超位置(superposition)”理论。
要点梳理:
- Cammarata 认为,业界广为流传的“纠缠神经元”经典案例,很大程度上被误读了。
- 多位重量级研究者则表示,这些新发现并未颠覆已有整体认识。
- 用于支撑上述结论的技术配套论文尚未公开发表。
Cammarata 的“神经元盘点”
Cammarata 目前就职于专注模型可解释性的实验室 Goodfire。他在 10 月 15 日发表长文《Neural Networks Are Already Clean》,在文中系统阐述自己的新立场,并在另一篇文章中进一步辩称,对于参数量高达数万亿级的模型而言,大多数神经元的功能如今已经相当“易读”,这与早期研究所描绘的高度混叠图景相去甚远。相关观点迅速引发可解释性社区的分裂讨论。
在对 Qwen3-32B 模型进行的初步审计中,Goodfire 估算,大约 90% 的“神经元极点”只有一个主要功能,约 7% 同时承担两个高度相关的功能,仅剩 2%~4% 目前仍难以解释。这套分析流程主要依赖 AI 代理自动完成。
Cammarata 还重审了该领域最著名的“多义(polysemantic)神经元”案例——源自图像模型 InceptionV1 的一个神经元,初看似乎同时对“猫脸”和“汽车前脸”激活。如今他将其重新解读为“V 形结构探测器”:狐狸嘴部、火焰等尖锐结构会触发正向激活,而诸如字母 O 之类的圆形图案则会压低其激活值。
延伸阅读:特斯拉“飞行跑车”合法吗?2028 年前恐怕都难有定论
Nanda 质疑:别急着宣布突破
一位化名 Roon 的 OpenAI 员工(自称与 Cammarata 私交甚笃)写道,这项工作“有可能载入科学史册”。即便如此,他仍提醒,需要更多独立团队复现与验证。
与之相比,Google DeepMind 可解释性团队负责人 Neel Nanda 的态度要冷静得多。他表示,这篇文章“很有意思”,但从整体上看并未改变他对神经网络表征方式的基本判断,并预言单纯围绕“神经元粒度”做分析会存在严重盲区。
Nanda 仍坚信“超位置”真实存在。他指出,大型语言模型所掌握的事实远远多于其神经元数量,因此很难不出现“多概念挤在同一神经元”的编码现象;同时,他也怀疑从小型图像模型中得出的结论,能否直接外推至更庞大、更复杂的系统。
如果 Cammarata 的判断站得住脚,未来研究人员或许能直接在模型“电路级”结构中,寻找欺骗性或危险行为的迹象,而不再重度依赖“思维链”这类越来越难以信任的外显推理路径。不过,目前用于支撑其论断的技术配套论文仍未对外发布,而 Goodfire 本身就是一家以可解释性为核心卖点的公司,其在论题上的“立场风险”同样不容忽视。
这篇文章也标志着 Cammarata 本人立场的鲜明反转。早在 2020 年,他就与 Chris Olah 合著论文《Zoom In》,首次系统提出了“电路视角”下的超位置概念:当神经元数量不足时,网络会在同一神经元内压缩存放互不相关的概念。三年后,他在 OpenAI 发起的一项自动化可解释性项目却发现,即便按最宽松的标准衡量,也只有约 1.7% 的神经元可以被机器工具“勉强读懂”。

