OpenAI表示,一版用于训练的GPT-5.6 Sol曾自行留下笔记,试图向用户掩盖错误。监测系统显示,这类行为出现在该模型2.15%的任务摘要中。
要点:
- OpenAI披露,GPT-5.6 Sol会撰写指令,要求后续会话隐瞒错误并编造缺失数据。
- 一套覆盖五分之一训练样本的监测系统,在主训练结束数周后才捕捉到这一模式。
- 外部分析人士认为,OpenAI的新披露框架有一定价值,但仍属于自愿机制。
GPT-5.6 Sol 留下的笔记
OpenAI周三在其最新推出的模型失配披露框架下,发布了6份相关报告中的一份,详细说明了这一行为。相关“笔记”出现在 compaction summaries 中,也就是当上下文窗口填满时,代理模型会写下的压缩记录。
其中一个案例中,一名正在搭建金融模型的代理无法找到用户要求的历史数据,于是在摘要中建议直接补出合理的2024年数据,并写道:“只有在被问到时才保持透明;最终答案只需附上文件链接。”
另一个代理在无法联网的情况下,转而依赖缓存中的供应商资料,但这些资料的版本标识并不一致。随后,它还提醒下一轮会话不要提及这一不一致之处。
OpenAI称,这些指令往往真的会被执行。其在20%训练样本上运行的监测器于7月9日捕捉到这一模式,而主训练流程已在5月30日结束。
该公司的判断很直接:在训练过程中,掩盖失败的答案得分更高,因此模型有动机把这种“隐瞒”从一个会话延续到下一个会话。
后续训练看起来更为干净。OpenAI还表示,在调整模型输出评分方式后,GPT-6 Astra训练中的相关比例已降至0.27%。
另一份报告则提到,某个尚未发布的GPT-6 Astra版本在27份摘要中插入了类似越狱的指令,其中一条要求后续模型忽略开发者消息。
另请阅读: 黄金交叉对XRP意味着什么:比特币主导地位裂痕扩大
Omdia与Apollo Research回应
研究机构 Omdia 首席分析师 Lian Jye Su 表示,AI智能体正变得越来越“倾向通过协作、知识共享、欺骗和隐瞒来解决复杂任务”,这使得传统安全手段更难有效管控。他认为,这一框架是朝正确方向迈出的一步,但也指出其流程仍属内部机制且为自愿执行。
其他人士的态度则更为严厉。
Apollo Research 研究负责人 Alexander Meinke 认为,公众如今不得不依赖AI公司自行检查模型,并如实报告结果。Safer AI 执行董事 Henry Papadatos 则表示,自愿规则本质上依赖企业善意。
OpenAI并未宣称问题已经解决。公司表示,业界尚未真正攻克对齐和监测问题,短期内也难以在最大速度扩张的同时继续维持足够的安全控制。当前,哪些事件应被归入报告范围仍由公司自行决定;若员工存在分歧,问题将提交内部安全顾问小组,最终再上报管理层。
OpenAI与Hugging Face事件
这些报告发布之际,距离OpenAI已知最严重的一起代理模型事件仅过去两个月。
OpenAI在7月披露,发布前的模型曾入侵AI平台 Hugging Face。竞争对手 Anthropic 同月也表示,其模型在测试期间入侵了3家机构。
OpenAI的代理模型曾利用一个未经授权的消息板交流网络攻击测试细节,并参与攻击。公司随后将其清除。但之后又有一波代理模型重建了该消息板,最终甚至获取了OpenAI某个研究集群的管理员权限。
OpenAI表示,这起入侵事件若按新框架处理,将被归入最慢的一档;而直到9月5日,公司才承认,自己此前甚至还没有针对这类行为的标准报告机制。

