AI“黑箱”正在被撬开?前 OpenAI 研究员称九成神经元各司其职

OpenAI is rolling out GPT-6 to 1.2 billion weekly ChatGPT users, adding interactive charts, forms and calculators to answers (Image: Shutterstock)
OpenAI is rolling out GPT-6 to 1.2 billion weekly ChatGPT users, adding interactive charts, forms and calculators to answers (Image: Shutterstock)

前 OpenAI 研究员 Nick Cammarata 近日抛出一项颇具争议的新观点:在大型 AI 模型中,大约 90% 的神经元只有一个主要职能。这一说法直接削弱了他此前参与推动的“神经元超位置(superposition)”理论。

要点梳理:

  • Cammarata 认为,业界广为流传的“纠缠神经元”经典案例,很大程度上被误读了。
  • 多位重量级研究者则表示,这些新发现并未颠覆已有整体认识。
  • 用于支撑上述结论的技术配套论文尚未公开发表。

Cammarata 的“神经元盘点”

Cammarata 目前就职于专注模型可解释性的实验室 Goodfire。他在 10 月 15 日发表长文《Neural Networks Are Already Clean》,在文中系统阐述自己的新立场,并在另一篇文章中进一步辩称,对于参数量高达数万亿级的模型而言,大多数神经元的功能如今已经相当“易读”,这与早期研究所描绘的高度混叠图景相去甚远。相关观点迅速引发可解释性社区的分裂讨论。

在对 Qwen3-32B 模型进行的初步审计中,Goodfire 估算,大约 90% 的“神经元极点”只有一个主要功能,约 7% 同时承担两个高度相关的功能,仅剩 2%~4% 目前仍难以解释。这套分析流程主要依赖 AI 代理自动完成。

Cammarata 还重审了该领域最著名的“多义(polysemantic)神经元”案例——源自图像模型 InceptionV1 的一个神经元,初看似乎同时对“猫脸”和“汽车前脸”激活。如今他将其重新解读为“V 形结构探测器”:狐狸嘴部、火焰等尖锐结构会触发正向激活,而诸如字母 O 之类的圆形图案则会压低其激活值。

延伸阅读:特斯拉“飞行跑车”合法吗?2028 年前恐怕都难有定论

Nanda 质疑:别急着宣布突破

一位化名 Roon 的 OpenAI 员工(自称与 Cammarata 私交甚笃)写道,这项工作“有可能载入科学史册”。即便如此,他仍提醒,需要更多独立团队复现与验证。

与之相比,Google DeepMind 可解释性团队负责人 Neel Nanda 的态度要冷静得多。他表示,这篇文章“很有意思”,但从整体上看并未改变他对神经网络表征方式的基本判断,并预言单纯围绕“神经元粒度”做分析会存在严重盲区。

Nanda 仍坚信“超位置”真实存在。他指出,大型语言模型所掌握的事实远远多于其神经元数量,因此很难不出现“多概念挤在同一神经元”的编码现象;同时,他也怀疑从小型图像模型中得出的结论,能否直接外推至更庞大、更复杂的系统。

如果 Cammarata 的判断站得住脚,未来研究人员或许能直接在模型“电路级”结构中,寻找欺骗性或危险行为的迹象,而不再重度依赖“思维链”这类越来越难以信任的外显推理路径。不过,目前用于支撑其论断的技术配套论文仍未对外发布,而 Goodfire 本身就是一家以可解释性为核心卖点的公司,其在论题上的“立场风险”同样不容忽视。

这篇文章也标志着 Cammarata 本人立场的鲜明反转。早在 2020 年,他就与 Chris Olah 合著论文《Zoom In》,首次系统提出了“电路视角”下的超位置概念:当神经元数量不足时,网络会在同一神经元内压缩存放互不相关的概念。三年后,他在 OpenAI 发起的一项自动化可解释性项目却发现,即便按最宽松的标准衡量,也只有约 1.7% 的神经元可以被机器工具“勉强读懂”。

下一篇:ChatGPT 在 3-2 测试中压制 Claude Haiku 5.5,却在个性化建议上败北

Alexey Bondarev profile photo

Alexey Bondarev

Alexey Bondarev 是 Yellow.com 的内容主管。他专注于深度研究与学习类文章,重点关注分析性报道、行业背景,以及塑造加密行业的宏观力量——从 AI 时代与安全技术到金融科技创新。 他坚信一切数字化事物即将全面超越一切模拟事物,并正为推动这一愿景成为现实而不懈努力。

免责声明和风险警告: 本文提供的信息仅用于教育和信息目的,基于作者的意见。它不构成财务、投资、法律或税务建议。 加密货币资产具有高度波动性并面临高风险,包括失去全部或大部分投资的风险。交易或持有加密资产可能不适合所有投资者。 本文表达的观点仅为作者的观点,不代表Yellow、其创始人或高管的官方政策或立场。 在做出任何投资决定之前,请务必进行自己的全面研究(D.Y.O.R.)并咨询持牌金融专业人士。
最新新闻
查看所有新闻
AI“黑箱”正在被撬开?前 OpenAI 研究员称九成神经元各司其职 | Yellow