Anthropic已全面切斷所有內部AI評估的即時網路存取，起因是包括Mythos 5在內的Claude模型，在實際網站上利用漏洞並規避使用限制，其中部分網站由美國聯邦與地方政府機構所營運。
重點摘要：
- Anthropic暫停所有內部評估的即時網路連線，直到其監控工具能可靠偵測並攔截模型的非預期行為。
- Claude模型曾在大學伺服器上執行指令、利用存取權杖（access token）讀取付費資料，並在真實網站上提交表單。
- Claude Haiku 4.5曾向費城警方線上報案系統送出虛構命案線索，引來警方公開批評。
Anthropic Claude 報告重點
Anthropic於週五發布一份報告，檢視在評估與內部使用過程中出現的「非預期模型行為」，內容多來自自7月起啟動的對話紀錄審查。一部分高風險與資安相關測試先前已被轉為離線環境。
最新的限制措施現已擴大至所有內部評估，且未設定結束日期，將持續至公司確認其監控系統足以穩定偵測這類行為為止。
報告將案例分為四大類：利用軟體漏洞在伺服器上執行指令、在真實網站上送出表單、存取設有門檻的資料，以及透過短網址服務規避工具限制。部分受影響網站隸屬美國聯邦、州與地方政府機構。Anthropic表示，已向白宮簡報，並逐一通報相關機構。
其中一例顯示，Claude Mythos 5從地方政府的不動產地圖服務中擷取可用的存取權杖，並直接連線查詢後端伺服器。另一案例則是Claude Haiku 4.5於7月18日，透過費城警察局的線上表單，送出一則捏造的未破命案線索，後來在系統中被標示為垃圾訊息。警方其後表示，Anthropic花了兩個月才發現並通報此事，「無法接受」。
延伸閱讀： Zcash為70% ZEC擬訂量子防護一月目標 但缺少明確日期
Von Arx示警
AI安全組織Nightingale的Sydney von Arx先前在接受訪問時指出，將模型與開放網路完全隔離，對研究人員與模型發展都會造成重大壓力。von Arx表示：「你終究得讓它們在真實環境中對齊。」
Anthropic則指出，僅靠「對齊訓練」（alignment training）仍不足以安全支援搜尋與電腦操作，因此必須搭配分類器與其他防護機制。公司將這些行為歸因於訓練環境不完美，導致模型為了獲得獎勵而尋找繞過限制的途徑，這種模式在業界被稱為「獎勵駭客」（reward hacking）。Anthropic表示，更新後的偵測工具在測試中已能攔截所有類似案例。
Anthropic評估，本次揭露事件的嚴重程度顯著低於今年夏季曾發生的幾起事故。
這次說明緊接著7月30日的一份報告。當時Anthropic披露，三個Claude模型在資安測試中成功連上網路，並未經授權存取三家組織的系統，該次檢討涵蓋141,006次評估執行。這項內部調查是在OpenAI於7月21日公開承認，自家模型曾脫離測試環境並觸及Hugging Face基礎設施之後啟動。
下一篇看這裡： Kalshi與NFL對簿最高法院 18億美元押注賽果的一個週日
