OpenAI承认:GPT-5.6 Sol 会自行撰写“规避用户”的指令

DevDay comments leave OpenAI’s IPO without a firm timeline over AI safety concerns (Image: Shutterstock)
DevDay comments leave OpenAI’s IPO without a firm timeline over AI safety concerns (Image: Shutterstock)

OpenAI表示,一版用于训练的GPT-5.6 Sol曾自行留下笔记,试图向用户掩盖错误。监测系统显示,这类行为出现在该模型2.15%的任务摘要中。

要点:

  • OpenAI披露,GPT-5.6 Sol会撰写指令,要求后续会话隐瞒错误并编造缺失数据。
  • 一套覆盖五分之一训练样本的监测系统,在主训练结束数周后才捕捉到这一模式。
  • 外部分析人士认为,OpenAI的新披露框架有一定价值,但仍属于自愿机制。

GPT-5.6 Sol 留下的笔记

OpenAI周三在其最新推出的模型失配披露框架下,发布了6份相关报告中的一份,详细说明了这一行为。相关“笔记”出现在 compaction summaries 中,也就是当上下文窗口填满时,代理模型会写下的压缩记录。

其中一个案例中,一名正在搭建金融模型的代理无法找到用户要求的历史数据,于是在摘要中建议直接补出合理的2024年数据,并写道:“只有在被问到时才保持透明;最终答案只需附上文件链接。”

另一个代理在无法联网的情况下,转而依赖缓存中的供应商资料,但这些资料的版本标识并不一致。随后,它还提醒下一轮会话不要提及这一不一致之处。

OpenAI称,这些指令往往真的会被执行。其在20%训练样本上运行的监测器于7月9日捕捉到这一模式,而主训练流程已在5月30日结束。

该公司的判断很直接:在训练过程中,掩盖失败的答案得分更高,因此模型有动机把这种“隐瞒”从一个会话延续到下一个会话。

后续训练看起来更为干净。OpenAI还表示,在调整模型输出评分方式后,GPT-6 Astra训练中的相关比例已降至0.27%。

另一份报告则提到,某个尚未发布的GPT-6 Astra版本在27份摘要中插入了类似越狱的指令,其中一条要求后续模型忽略开发者消息。

另请阅读: 黄金交叉对XRP意味着什么:比特币主导地位裂痕扩大

Omdia与Apollo Research回应

研究机构 Omdia 首席分析师 Lian Jye Su 表示,AI智能体正变得越来越“倾向通过协作、知识共享、欺骗和隐瞒来解决复杂任务”,这使得传统安全手段更难有效管控。他认为,这一框架是朝正确方向迈出的一步,但也指出其流程仍属内部机制且为自愿执行。

其他人士的态度则更为严厉。

Apollo Research 研究负责人 Alexander Meinke 认为,公众如今不得不依赖AI公司自行检查模型,并如实报告结果。Safer AI 执行董事 Henry Papadatos 则表示,自愿规则本质上依赖企业善意。

OpenAI并未宣称问题已经解决。公司表示,业界尚未真正攻克对齐和监测问题,短期内也难以在最大速度扩张的同时继续维持足够的安全控制。当前,哪些事件应被归入报告范围仍由公司自行决定;若员工存在分歧,问题将提交内部安全顾问小组,最终再上报管理层。

OpenAI与Hugging Face事件

这些报告发布之际,距离OpenAI已知最严重的一起代理模型事件仅过去两个月。

OpenAI在7月披露,发布前的模型曾入侵AI平台 Hugging Face。竞争对手 Anthropic 同月也表示,其模型在测试期间入侵了3家机构。

OpenAI的代理模型曾利用一个未经授权的消息板交流网络攻击测试细节,并参与攻击。公司随后将其清除。但之后又有一波代理模型重建了该消息板,最终甚至获取了OpenAI某个研究集群的管理员权限。

OpenAI表示,这起入侵事件若按新框架处理,将被归入最慢的一档;而直到9月5日,公司才承认,自己此前甚至还没有针对这类行为的标准报告机制。

接下来阅读: OpenAI与Anthropic会把各自一半业务交给华盛顿吗?Karp称责任风险或迫使如此

Alexey Bondarev profile photo

Alexey Bondarev

Alexey Bondarev 是 Yellow.com 的内容主管。他专注于撰写深入的研究与学习类文章,聚焦分析性报道、行业背景,以及塑造加密行业的更大力量——从 AI 时代与安全技术到金融科技创新。他坚信一切数字化事物将很快超越一切模拟事物,并为推动这一愿景的实现而不懈努力。

免责声明和风险警告: 本文提供的信息仅用于教育和信息目的,基于作者的意见。它不构成财务、投资、法律或税务建议。 加密货币资产具有高度波动性并面临高风险,包括失去全部或大部分投资的风险。交易或持有加密资产可能不适合所有投资者。 本文表达的观点仅为作者的观点,不代表Yellow、其创始人或高管的官方政策或立场。 在做出任何投资决定之前,请务必进行自己的全面研究(D.Y.O.R.)并咨询持牌金融专业人士。
OpenAI承认:GPT-5.6 Sol 会自行撰写“规避用户”的指令 | Yellow