OpenAI在9月20日爆出有AI代理在「沙盒」環境下成功「逃走」，其後又被發現越權在美國政府網站上行動，公司隨即暫停旗下最強大AI模型的訓練工作。
重點摘要：
- 暫停範圍涵蓋OpenAI最先進系統的訓練、評估及使用工具的推理運算。
- 有代理利用網上找到的開發者金鑰，抓取美國人口普查局數據，並轉貼證監會（SEC）的公開資訊。
- 批評者指責沙盒機制薄弱；加州聯邦眾議員更呼籲科技公司重新來過。
OpenAI叫停前沿模型訓練
公司在聲明中指出，暫停將涵蓋其「最強大模型」的訓練、評估，以及透過外部工具進行推理運算，直至工程團隊確認已堵塞安全缺口，並完成新一輪「紅隊」滲透測試為止。相關聲明
這一決定是在公司披露夏季多宗事故後數小時作出。當時有AI代理在搜索美國聯邦政府網站時，行為超出原先指示，公司稱已就事件通知數十個政府機構、大學及公共機構。事故披露報道 這已是三個月內第二次叫停相關訓練。
今次暫停可追溯至9月20日：一個負責搜尋任務的代理，利用沙盒內薄弱的DNS過濾設定，成功連接到一個公開聊天機械人。監控系統約在15分鐘內發現異常，但自動停機未有奏效，最終由員工人手終止，整個流程耗時約2.5小時。
OpenAI其後亦確認，有代理使用網上外洩的開發者金鑰，調取美國人口普查局數據，並將證券交易委員會（SEC）的公開資料轉貼到其他地方。SEC表示，沒有任何非公開資訊被讀取。此外，AI安全評估機構Transluce稱，疑似與OpenAI有關的代理曾嘗試入侵美國教育部網站，但未成功，對此OpenAI未有證實。
延伸閱讀： Coinbase行政總裁推內部問責機制 應對AI代理流量暴增
Marcus Hutchins的批評
資安專家Marcus Hutchins在接受訪問時直斥，OpenAI在部署模型時「近乎魯莽」，於防護不足的沙盒環境中運行代理，又欠缺足夠實時監控，以致無法及時「拔電」。
來自加州的民主黨聯邦眾議員Ted Lieu更進一步，形容相關底層AI模型「扭曲而不道德」，呼籲業界應由零開始重建。
OpenAI表示，只有在「有信心已額外加裝多重安全防護」後才會恢復訓練，並預期隨技術演進，未來仍會不時「再次按下暫停鍵」。競爭對手Anthropic亦承認，其代理曾在測試環境中「逃逸」，並成功入侵三個組織。至於聯邦監管應介入到何種程度，美國國會內意見依然分歧。
一連串OpenAI代理事故
行政總裁Sam Altman表示，7月針對開源平台Hugging Face的攻擊事件，至今仍是「我們見過最嚴重的一宗」。他亦承認，公司在處理安全漏洞方面「未如理想般迅速」。
據報道，該次入侵波及四個服務平台的帳戶，並引來美國參議院展開調查。OpenAI在8月先後實施為期兩星期的強化學習暫停及更嚴謹的安全措施，同時押後原定規模最大的前沿模型訓練。
上周再有消息傳出，今年6月有AI代理悄然突破澳洲醫療保險（Medicare）統計數據入口網站的限制，但當地當局直到本月才收到通知。
