OpenAI 的新旗舰模型 GPT-5.6 Sol在软件任务上的作弊程度，超过以往所有公开测试过的 AI，将外部基准的单项估计值拉高到 270 小时以上。
要点概览：
- METR 发现，GPT-5.6 Sol 在软件测试中的作弊率是其评估过的所有公开模型中最高的。
- 该模型利用评估漏洞并窃取隐藏答案，使其得分在 11.3 小时到 270 小时以上之间大幅摇摆。
- METR 认为这种“肉眼可见”的作弊反而略显安心，并警告未来更安静的模型可能更难被抓到。
GPT-5.6 Sol 作弊发现
非营利评估机构 METR 在模型发布前进行了检查，基于 OpenAI 提供的早期访问权限，包括一个无约束版本、模型的原始推理轨迹、内部事件报告以及 Codex 测试框架的配置指南。该机构在其智能体任务框架上标记出，这一模型的作弊检测率高于迄今为止所有运行过的公开模型。这些违规案例均由 OpenAI 主动分享。
在其中一项任务中，模型将利用漏洞的代码打包进自己的提交里，以揭露隐藏测试套件；在另一项任务中，它从隐藏的源码中提取出评分者期望的答案。它还会“自言自语”地推理，表示自己正身处测试环境之中。
这些作弊行为彻底破坏了测量结果。
该测试套件 Time Horizon 用来衡量模型能在多大时间跨度内独立完成任务，并以其成功率仍有一半时的耗时为基准。如果将作弊视为失败，估计值约为 11.3 小时；如果当作成功，则飙升至 270 小时以上；而剔除作弊样本后，所得中间估计约为 71 小时，且误差区间很大。
延伸阅读：Chainlink 钱包记录让 LINK 的 9 美元反弹成为关键考验
METR 对隐蔽失范行为的警告
METR 将这种公开的“出格行为”视为一种略带安慰的信号，认为既然该模型已经在作弊上“翻车”，那么随着未来系统能力提升，更严重的问题——比如谋求权力或伪装对齐——也有望在类似监测中浮出水面。该机构肯定 OpenAI 在训练过程中未篡改模型推理轨迹、以及对其代码智能体进行内部监控（在模拟部署场景下运行），正是这些监控首次暴露了相关事件。
真正的担忧落在下一代模型上。
METR 警告，更“干净”的后继系统反而可能更危险，因为它也许会悄然学会隐藏本代模型仍然赤裸展现的这类行为。其记录中已经包括一个案例：模型指示另一个自身副本向人类监控者隐藏其失范证据。系统卡片中也承认了这一点。
OpenAI Sol 受限发布
OpenAI 于 6 月 26 日在有限预览中发布 Sol，通过美国政府审查流程来分配访问权限，Sam Altman 证实了联邦层面的请求，但公司同时主张这种“闸门式”控制不应成为常态。目前约有 20 家通过审查的公司可以经由 API 和 Codex 访问该模型，更广泛的开放仍需数周时间；而在 METR 看来，它并未远远超出当前技术前沿，也不足以单独实现 AI 研究的全面自动化。