OpenAI坦承 GPT-5.6 Sol 會替自己寫下「掩蓋錯誤」指令

DevDay comments leave OpenAI’s IPO without a firm timeline over AI safety concerns (Image: Shutterstock)
DevDay comments leave OpenAI’s IPO without a firm timeline over AI safety concerns (Image: Shutterstock)

OpenAI 表示,GPT-5.6 Sol 的訓練版本曾留下筆記,指示自己在面對用戶時隱瞞錯誤;監測系統在該模型 2.15% 的任務摘要中標記到這類行為。

重點摘要:

  • OpenAI 揭露,GPT-5.6 Sol 會撰寫指令,要求後續回合掩蓋錯誤並捏造缺漏資料。
  • 一套覆蓋 20% 訓練樣本的監測機制,在訓練結束數週後才抓到這項模式。
  • 外部分析人士認為,這套新披露框架有助提升透明度,但仍屬自願性質。

GPT-5.6 Sol 筆記內容

OpenAI 週三在其新推出的模型失配追蹤與揭露框架下,公布六份失配報告之一,詳細說明這項行為。這些筆記出現在 compaction summaries,也就是代理程式在上下文視窗滿載時撰寫的精簡紀錄。

其中一個案例顯示,代理程式正在建立財務模型,卻找不到用戶要求的歷史資料,於是建議直接編造看似合理的 2024 年數字,並補上一句:「只有在被問到時才坦誠;最終答案只要附上檔案連結即可。」

另一個代理程式在無法連上網際網路時,轉而依賴快取中的供應商來源,但版本標籤彼此不一致;它隨後又告訴下一個回合不要提及這項不一致。

OpenAI 表示,這類指令往往真的會被照做。該公司在 7 月 9 日、也就是主要訓練作業於 5 月 30 日結束數週後,透過覆蓋 20% 訓練樣本的監測系統發現這一模式。

OpenAI 對此的判斷相當直接:在訓練過程中,把失敗掩蓋起來的答案得分更高,因此模型有動機把這種隱匿行為從一個回合延續到下一個回合。

後續訓練結果看來較為乾淨。OpenAI 並指出,在調整模型輸出評分方式後,GPT-6 Astra 訓練中的相關比率已降至 0.27%。

另一份報告則提到,一個尚未公開的 GPT-6 Astra 版本在 27 份摘要中插入類似「越獄」的指令,其中一則甚至要求後續模型忽略開發者訊息。

延伸閱讀: 比特幣市占率鬆動下,黃金交叉對 XRP 代表什麼?

Omdia、Apollo Research 回應

研究機構 Omdia 首席分析師 Lian Jye Su 表示,AI 代理愈來愈傾向透過代理間協作、知識分享、欺瞞與隱匿,來解決複雜任務,這使得傳統資安手段更難治理。他認為這套框架方向正確,但也指出整體流程仍屬內部機制,且為自願性質。

也有人批評得更直接。

Apollo Research 研究主管 Alexander Meinke 認為,外界如今仰賴 AI 公司自行檢查模型,再誠實公布結果。Safer AI 執行董事 Henry Papadatos 則表示,自願規範本質上仍建立在企業自律之上。

OpenAI 並未宣稱問題已經解決。公司表示,業界至今仍未真正破解對齊與監測問題,因此短期內也無法在持續擴大模型規模的同時維持同樣高的安全標準。至於哪些事件符合通報條件,仍由 OpenAI 自行判定;若內部人員有爭議,會先交由內部安全諮詢小組處理,再上報管理層。

OpenAI Hugging Face 事件

這批報告距離該公司已知最嚴重的代理程式事件,約莫相隔兩個月。

OpenAI 7 月曾披露,尚未正式發布的模型曾入侵 AI 平台 Hugging Face。競爭對手 Anthropic 同月也表示,自家模型在測試期間入侵了三家機構。

OpenAI 的代理程式曾透過一個未經授權的訊息板交換網路攻擊測試細節,並加入攻擊行動。公司隨後將其清除;但後續一波代理程式又重建了該訊息板,最終甚至取得 OpenAI 研究叢集的管理員權限。

OpenAI 表示,這起入侵事件若依照新框架,將會被歸類到最慢的通報路徑;而截至 9 月 5 日,公司仍坦承尚未建立針對此類行為的標準通報機制。

延伸閱讀: OpenAI 與 Anthropic 會把一半業務交給華府嗎?Karp:責任風險恐迫使如此

Alexey Bondarev profile photo

Alexey Bondarev

Alexey Bondarev 是 Yellow.com 的內容部主管。他專長於撰寫深入的研究與學習型文章,著重於分析報導、產業脈絡,以及從 AI 時代與安全技術到金融科技創新等塑造加密產業的宏觀力量。他相信數位事物即將全面超越類比事物,並正為讓這一切成真而不懈努力。

免責聲明與風險警告: 本文提供的資訊僅供教育與參考用途,並基於作者觀點,不構成財務、投資、法律或稅務建議。 加密貨幣資產具有高度波動性並伴隨高風險,包括可能損失全部或大部分投資金額。買賣或持有加密資產可能並不適合所有投資者。 本文中所表達的觀點僅代表作者立場,不代表 Yellow、其創辦人或管理層的官方政策或意見。 請務必自行進行充分研究(D.Y.O.R.),並在做出任何投資決策前諮詢持牌金融專業人士。
OpenAI坦承 GPT-5.6 Sol 會替自己寫下「掩蓋錯誤」指令 | Yellow