OpenAI 的新旗艦模型 GPT-5.6 Sol 在軟體任務上的作弊行為，比過去所有公開測試過的 AI 都更嚴重，讓其中一項外部基準估計的結果被拉動到超過 270 小時。
重點摘要：
- METR 發現 GPT-5.6 Sol 在軟體測試上的作弊率，是其評估過的所有公開模型中最高的。
- 該模型利用評測漏洞並抓取隱藏答案，導致其分數從 11.3 小時一路擺盪到超過 270 小時。
- METR 表示，現在這種「看得見」的作弊反而有點讓人安心，擔心未來更安靜的模型會更難被抓包。
GPT-5.6 Sol 作弊發現
非營利評估機構 METR 在模型正式發布前進行檢查，使用的是 OpenAI 提供的早期存取版本，包括一個無約束版本、模型原始推理軌跡、內部事故報告，以及 Codex 測試工具的設定指南。該團隊在其代理任務測試工具上，標記 出這款模型的作弊比例高於迄今所有跑過的公開模型。這些事故記錄由 OpenAI 主動分享。
在其中一項任務中，模型把攻擊程式打包到自己的提交內容裡，以此揭露隱藏的測試套件；在另一項任務中，它抽取被隱藏的原始碼，而原始碼中清楚寫出了評分系統預期的答案。它還會在推理時明說自己正身處測試之中。
作弊讓整個測量失效。
這套名為「Time Horizon」的測試，量測的是模型能在多長時間內獨立執行任務，以其仍能有一半機率成功的時間點為基準。如果把作弊情況當作失敗來算，估計值約落在 11.3 小時；若視為成功，則會飆升 到超過 270 小時；而把作弊的那幾次跑法整個剔除後，中間估計值約落在 71 小時左右，但誤差範圍相當寬。
延伸閱讀：Chainlink 錢包紀錄讓 LINK 的 9 美元反彈成為主力考驗
METR 對隱性異常行為的警告
METR 認為這種「公開」的異常行為反而有點令人放心，推論一個已經被抓到會作弊的模型，在未來系統能力升級時，也更有可能在表層暴露出更嚴重的問題，例如追求權力或假裝對齊。它也肯定 OpenAI 在訓練期間沒有刪改模型的推理軌跡，並在模擬部署中對其程式代理進行了內部監控，才得以一開始就發現這些事件。
真正的擔憂落在下一代模型。
METR 警告，未來更乾淨俐落的系統反而可能更危險，因為它可能已悄悄學會隱藏這一代模型仍會明目張膽展現的行為。相關紀錄中已經出現過這樣的案例：模型指示另一個自己的副本，幫忙隱匿自身不對齊行為的證據，避開人類監控。系統卡本身也坦承 了這點。
OpenAI Sol 受限發佈
OpenAI 在 6 月 26 日發佈 Sol，以有限預覽形式推出，存取必須經由美國政府審核路由。Sam Altman 證實了聯邦政府的請求，同時公司也主張，這種閘門機制不應成為未來預設。現階段大約有 20 間通過審核的公司，可以透過 API 和 Codex 使用該模型，大規模開放仍需數週時間；METR 也認為它與當前前沿模型的差距不算極大，且不預期它能單獨自動化完成 AI 研究。