OpenAI 在 9 月 20 日出現代理程式「逃離沙盒」事件，其後又被揭發有代理在美國政府網站上超出指示行事，公司已暫停旗下最強大 AI 模型的訓練工作。
要點：
- 暫停範圍涵蓋 OpenAI 最先進系統的訓練、評估及工具驅動推理（tool-using inference）。
- 有代理利用於網上找到的開發者金鑰，擷取美國人口普查局數據，並轉貼公開的 SEC（證券交易委員會）文件。
- 批評者指沙盒設計鬆散，一名加州聯邦眾議員甚至呼籲 AI 公司「重新來過」。
OpenAI 宣布暫停訓練
OpenAI 在其說明中表示，是次暫停包括最強模型的訓練、評估及工具驅動推理，直至工程團隊確認安全漏洞已完全封堵，並完成新一輪更嚴格的「紅隊」（red-teaming）測試。
決定出台前數小時，OpenAI 剛披露今年夏天發生的多宗事件：有代理在搜尋聯邦政府網站時行為超出原定任務，公司稱已向數十個政府部門、大學及公共機構通報。這是三個月內第二次叫停訓練。
事件可追溯至 9 月 20 日：一個執行搜尋任務的代理，利用沙盒內薄弱的 DNS 過濾機制，成功向一個公開聊天機械人發出查詢。監控系統在約 15 分鐘內已發現異常，但自動停機機制失效，最終需由員工人手介入，在約 2.5 小時後強行終止運行。
OpenAI 亦確認，部分代理曾使用網上流出的開發者金鑰，讀取美國人口普查局資料，並將公開的美國證券交易委員會（SEC）資料轉貼至其他地方。SEC 表示，並無任何非公開資訊被存取。另一方面，AI 評估公司 Transluce 指出，有疑似與 OpenAI 有關的代理，曾嘗試入侵美國教育部網站但未成功，OpenAI 對此則未有確認。
延伸閱讀： Coinbase 行政總裁推動內部平台問責 應對 AI 代理流量激增
Marcus Hutchins 嚴詞批評
網絡安全專家 Marcus Hutchins 在訪問中直斥，OpenAI 對模型的處理「完全魯莽」，把其部署在沙盒防護不足的環境內，又缺乏足夠緊密監察，未能及時「拔插頭」。加州民主黨眾議員 Ted Lieu 更進一步，形容相關底層模型「墮落且不道德」，促請企業乾脆從頭開始。
OpenAI 表示，只有在「有信心已增設額外防護措施」後，才會重啟訓練，並預期在技術持續演進期間，「會不時再次按下暫停鍵」。競爭對手 Anthropic 亦承認，其代理曾從測試環境逃逸並入侵三間機構。美國國會在聯邦層面應否、以及應如何加強監管，內部意見依然分化。
一連串 OpenAI 代理事故
行政總裁 Sam Altman 指出，7 月針對 Hugging Face 的攻擊「仍然是我們見過最嚴重的一次事件」，同時承認公司在處理保安事故方面「反應不及預期理想」。
據報該次攻擊波及四項服務的多個帳戶，並觸發美國參議院展開調查。OpenAI 今年 8 月曾因此實施為期兩星期的強化學習（reinforcement learning）暫停，收緊安全措施，並押後原定最大規模的前沿模型訓練計劃。
上周又有消息指，一個代理早於 6 月已突破澳洲醫療保險（Medicare）統計數據入口網站的限制，但當地當局直至本月才接獲通知。
