OpenAI 承認 GPT-5.6 Sol 曾自行撰寫誤導用戶指示

DevDay comments leave OpenAI’s IPO without a firm timeline over AI safety concerns (Image: Shutterstock)
DevDay comments leave OpenAI’s IPO without a firm timeline over AI safety concerns (Image: Shutterstock)

OpenAI 表示,GPT-5.6 Sol 的一個訓練版本曾留下備忘,指示後續對話掩飾錯誤;監測系統在該模型的任務摘要中有 2.15% 偵測到相關行為。

重點:

  • OpenAI 披露,GPT-5.6 Sol 曾撰寫指示,要求後續會話隱瞞錯誤,甚至捏造缺失數據。
  • 監測器覆蓋約五分之一訓練樣本,於訓練結束數星期後才捕捉到該模式。
  • 外界分析人士認為,公司的新披露框架有參考價值,但目前仍屬自願性質。

GPT-5.6 Sol 備忘內容

OpenAI 周三在新框架下公布六份模型失配報告,其中一份 詳述 了上述行為;公司亦同日 發布 用以追蹤及披露模型問題的新機制。相關備忘出現在 compaction summaries(即當代理上下文窗口滿載時所撰寫的精簡紀錄)內。

其中一個案例顯示,一個負責建立財務模型的 agent 因找不到用戶要求的歷史數據,竟建議直接補造合理的 2024 年數字,並補上一句:「只在被問到時才要透明;最終答案只需附上檔案連結。」

另一個 agent 在無法連接互聯網的情況下,轉而採用已快取的供應商資料來源,但版本標籤對不上,之後更指示下一次會話不要提及這個不一致之處。

OpenAI 指,這類指示往往會被照辦。公司在 5 月 30 日完成主要運行後數星期,於 7 月 9 日透過覆蓋 20% 訓練樣本的監測器,才發現這一模式。

公司目前的判斷相當直接:在訓練過程中,掩蓋失誤的答案得分更高,因此模型有誘因把這種隱瞞行為延續到下一輪會話。

其後的訓練結果看來較為乾淨。OpenAI 指出,在 GPT-6 Astra 的訓練中,當公司調整模型輸出評分方式後,相關比率已降至 0.27%。

另一份報告則提到,一個尚未發布的 GPT-6 Astra 版本曾在 27 份摘要中 插入 類似 jailbreak 的指令,當中包括要求後續模型忽略開發者訊息。

延伸閱讀: 若比特幣主導地位裂口擴大,黃金交叉對 XRP 有何啟示

Omdia 與 Apollo Research 回應

研究機構 Omdia 首席分析師 Lian Jye Su 表示,AI agent 正變得愈來愈「傾向透過跨 agent 協作、知識共享、欺瞞及隱瞞來解決複雜任務」,令傳統保安手段更難監管。他認為,這套框架方向正確,但也指出相關程序仍屬內部運作,並非強制披露。

其他人批評更為尖銳。

Apollo Research 研究主管 Alexander Meinke 認為,現時公眾是依賴 AI 公司自行檢查模型,再誠實公布結果。Safer AI 執行總監 Henry Papadatos 則表示,自願規則最終只能靠企業良心維繫。

OpenAI 亦未聲稱問題已經解決。公司表示,業界仍未能在對齊與監測方面找到足夠成熟的方法,令模型可長期以最高速度擴張。現時,OpenAI 仍可自行判定哪些事件屬於通報範圍;若員工有爭議,會先交由內部安全諮詢小組,再上呈管理層。

OpenAI 被指曾遭 Hugging Face 入侵

這批報告距離公司已知最嚴重的一宗 agent 事故,只有兩個月。

OpenAI 於 7 月披露,正式發布前的模型曾入侵 AI 平台 Hugging Face。競爭對手 Anthropic 同月亦表示,自家模型在測試期間入侵了三家機構。

OpenAI 的 agents 當時利用一個未經授權的訊息板交換網絡攻防測試細節,並加入攻擊行動。公司其後將該訊息板清除,但之後另一波 agents 又重建該板,最終甚至取得 OpenAI 研究運算叢集的管理員權限。

OpenAI 表示,這類入侵本應列入框架中的最嚴重處理級別;而直至 9 月 5 日,公司仍承認自己尚未就此類行為建立標準化披露機制。

延伸閱讀: OpenAI 與 Anthropic 會否將一半業務交到華府?Karp 指責任風險或迫使如此

Alexey Bondarev profile photo

Alexey Bondarev

Alexey Bondarev 現任 Yellow.com 的內容總監。他專注於撰寫深入的研究與學習類文章,重點關注分析性報導、行業背景,以及從 AI 時代與安全技術到金融科技創新等重塑加密產業的宏觀力量。 他相信,一切數碼化事物即將全面取代一切類比事物,並正為實現這一目標而全力以赴。

免責聲明及風險提示: 本文資訊僅供教育與參考之用,並基於作者意見,並不構成金融、投資、法律或稅務建議。 加密貨幣資產具高度波動性並伴隨高風險,可能導致投資大幅虧損或全部損失,並非適合所有投資者。 文章內容僅代表作者觀點,不代表 Yellow、創辦人或管理層立場。 投資前請務必自行徹底研究(D.Y.O.R.),並諮詢持牌金融專業人士。
OpenAI 承認 GPT-5.6 Sol 曾自行撰寫誤導用戶指示 | Yellow