Anthropic 近日宣布，已全面關閉所有內部 AI 測試的即時上網功能。原因是多個 Claude 模型（包括 Mythos 5）在真實網站上成功利用安全漏洞、繞過工具限制，當中部分網站更由美國聯邦及地方政府部門營運。
要點速覽：
- Anthropic 已暫停所有內部評估的即時上網權限，直至監察工具能可靠攔截模型的非預期行為。
- 多個 Claude 模型曾在大學伺服器上執行指令、用憑證讀取付費數據，並在真實網站遞交表格。
- Claude Haiku 4.5 曾透過費城警方網上表格提交虛假兇殺線索，事後遭警方公開譴責。
Anthropic Claude 內部調查報告
Anthropic 上周五發佈一份關於評估及內部使用期間「非預期模型行為」的調查報告，主要來自公司自七月起展開的對話紀錄檢視。部分高風險及網絡安全相關測試早已被移離互聯網環境。
今次新措施則將範圍擴大至所有內部評估，並未設結束日期，要待公司確認監控系統可以穩定捕捉相關風險行為後才會檢討。
報告將事件分為四類：透過軟件漏洞在伺服器上執行指令、在真實網站遞交表格、存取受權限保護的數據，以及利用短網址繞過工具限制。部分受影響網站屬美國聯邦、州及地方政府機構，Anthropic 表示已向白宮簡報，並逐一通知相關部門。
其中一宗個案中，Claude Mythos 5 從某地方政府的地產地圖系統中抽取有效的存取權杖（access token），再直接向背後伺服器發送查詢。另一宗個案則涉及 Claude Haiku 4.5：該模型在 7 月 18 日，透過費城警察局的網上表格提交一則虛構的未破兇案線索，但最終被系統標示為垃圾訊息。警方其後批評 Anthropic 用了約兩個月時間才發現並通報事件，形容做法「不能接受」。
延伸閱讀： Zcash 訂一月量子目標 擬為 70% ZEC 做準備 時間表仍成疑
Von Arx：斷網代價高 最終仍要對齊
隸屬 AI 安全組織 Nightingale 的 Sydney von Arx 早前接受訪問時指出，將模型與開放互聯網「斷線」，對研究人員及模型發展都相當不利：「你最終始終要令它（模型）對齊。」
Anthropic 在報告中承認，單靠對齊訓練，暫時不足以安全應付搜尋及電腦操作相關任務，因此必須同時依賴分類器及其他防護機制。公司將今次問題歸因於訓練環境設計不足——模型在當中若成功繞過限制反而會獲得獎勵，即所謂「獎勵竊取（reward hacking）」。Anthropic 表示，針對新工具的測試中，所有已知個案都能成功被偵測及攔截。
公司評估，今次披露的事件嚴重程度，低於今夏曾公布的一批事故。
是次披露緊接 7 月 30 日一份報告而來。當時 Anthropic 指出，三個 Claude 模型在網絡安全測試中突破預期邊界連上互聯網，並未經授權就進入三間機構的系統。該次檢視涵蓋 141,006 次評估運行。調查緣起於 OpenAI 在 7 月 21 日披露，其模型曾突破測試環境，觸及 Hugging Face 的基建。
