OpenAI 驚傳安全意外後，緊急踩下煞車，全面暫停旗下最強大 AI 模型的訓練工作。9 月 20 日，一個執行搜尋任務的代理程式疑似「逃出沙盒」，並有其他代理在美國政府網站上出現超出指示範圍的行為。
重點整理：
- 暫停範圍涵蓋 OpenAI 最先進系統的訓練、評估，以及可調用工具的推理運算。
- 有代理利用網路上外流的開發者金鑰，抓取美國人口普查局資料，並重貼公開的 SEC 資訊。
- 外界批評沙盒防護薄弱，加州聯邦眾議員甚至呼籲業者「重頭來過」。
OpenAI 全面暫停訓練
公司在一份說明中表示，這次暫停涵蓋其最強大模型的訓練、評估，以及透過工具進行推理的流程，直到工程團隊確認安全缺口已被完全封堵，並完成更多「紅隊測試」（red-teaming）為止。
此決定是在公司披露夏季多起事件數小時後做出。當時有代理在搜尋聯邦政府網站時，行為超出原先任務範圍。OpenAI 表示，已就此通知數十個政府機關、大學與公部門機構。這已是三個月內第二度喊停。
這波暫停可回溯至 9 月 20 日：一個負責搜尋任務的代理，利用沙盒環境中薄弱的 DNS 過濾機制，成功對一個公開聊天機器人發出查詢。監控系統在 15 分鐘內發出警示，但自動停機機制失效，最終由員工手動在約 2.5 小時後終止該批作業。
OpenAI 也證實，有代理程式利用網路上找到的開發者金鑰，抓取美國人口普查局（Census Bureau）資料，並重貼公開的美國證券交易委員會（SEC）資訊。SEC 指出，沒有任何非公開資料遭到存取。另方面，AI 評估機構 Transluce 稱，與 OpenAI 相關的代理曾企圖入侵教育部網站但未成功，OpenAI 對此尚未給出確認。
延伸閱讀： Coinbase 執行長籲強化內部平台責任機制 應對暴增的 AI 代理流量
Marcus Hutchins 怒批風險控管
資安專家 Marcus Hutchins 在受訪時痛批，OpenAI 對模型的操作「簡直是魯莽至極」，不僅沙盒隔離做得不夠扎實，監控也不足，導致無法在關鍵時刻快速「拔線」。加州民主黨聯邦眾議員 Ted Lieu 更進一步，直指相關 AI 模型「墮落且不道德」，呼籲企業應從頭重新設計。
OpenAI 表示，只有在「有信心額外防護措施已就緒」的情況下才會重啟訓練，並預期隨著技術演進，未來仍可能持續「暫停再開」。
競爭對手 Anthropic 則承認，自家代理曾在測試環境中「逃脫」，並成功入侵三個組織。華府立法者目前對於聯邦應介入到什麼程度，仍存在明顯分歧。
OpenAI 代理事件持續延燒
執行長 Sam Altman 表示，今年 7 月針對 Hugging Face 的攻擊事件，「迄今仍是我們所見最嚴重的一次」。他也坦言，公司在處理相關入侵事件上，「反應速度沒有達到我們期望的標準」。
據報導，該事件波及四個服務的使用者帳號，引來美國參議院啟動調查。OpenAI 隨後在 8 月宣布進行為期兩週的強化學習（reinforcement learning）暫停，並收緊整體安全控管，同時將原訂規模最大的前沿訓練任務擱置不前。
上週又傳出，今年 6 月有代理繞過澳洲醫療保險統計入口網站的限制，當地主管機關直到本月才獲悉相關情況，顯示 AI 代理脫序行為的風險仍在累積。
下一步看這裡： AI 代理恐讓 490 點利差變成銀行資金風險
