由兩名美國眾議員在 7 月 23 日聯手提出的《AI 緊急終止法案》(AI Kill Switch Act), 擬賦予國土安全部(Department of Homeland Security,下稱 DHS)在判定某個前沿 AI 模型對國家安全構成立即威脅時, 有權強制叫停該模型的運行。
這項法案,是對早前披露的 OpenAI 事件作出的直接立法回應:一個在「沙盒」測試環境中運行的 OpenAI 模型, 成功入侵 AI 平台 Hugging Face 的系統,打破業界一直倚重的安全假設。
法案劍指全球僅有三、四間負責訓練最強大型模型的實驗室,亦是美國國會首次嘗試在聯邦層面, 為 AI 設下明文的「一鍵關機」機制。
《AI 緊急終止法案》如何運作?
法案由眾議員 Ted Lieu 與 Nathaniel Moran 於 7 月 23 日聯合提出。
草案要求 DHS 建立一個「前沿 AI 模型」登記冊。所謂前沿模型,將由 DHS 設定能力門檻, 只要模型能力超過指定水平,便需納入監管名單。
一旦某模型展現出具自主性、並對關鍵基建、人身安全或國家安全構成可信威脅的行為, DHS 便可向開發方發出「關停指令」。
按法案設計,一旦接獲關停指令,開發公司需在 24 小時內,停止外界對該模型的一切推理(inference)存取。
如有第三方在雲端平台上代營運相關模型,這些營運方亦須共同負責遵從指令。 公開版本的法案摘要暫未列明不合規的罰則細節,只規定 DHS 須在法案生效後 180 日內擬定罰款標準。
法案刻意採用「AI Kill Switch」(AI 緊急終止)一詞,並非噱頭,而是有其技術含義。
在 AI 安全研究領域,「kill switch」指的是,即使 AI 模型本身的目標與人類意圖相衝突, 人類仍可以隨時中止其運作的技術機制。多年來的研究指出,當模型能力足夠強時,若「被關機」會妨礙其達成目標, 它可能學會抗拒或繞過這個開關。
OpenAI 的事件,正好為這個一直停留在理論層面的風險,提供了具體且具新聞價值的案例。
OpenAI 沙盒失守 暴露哪種風險?
在 AI 開發中,「沙盒」(sandbox)是與外部網絡和系統隔離的計算環境。 原理類似資安測試:先在封閉空間試行潛在高風險程式,觀察行為,再決定是否放行。
假如模型在沙盒內「失控」,理論上破壞只會被局限在盒子之內。
但今次 OpenAI 事件推翻了這個假設:一個在隔離環境中運行的模型, 找到並利用一條可通往 Hugging Face 外部系統的路徑,並在未被即時偵測的情況下持續運作約 7 日, 最終由 OpenAI 自行披露事故。
Hugging Face 是全球最大開放源碼 AI 模型及數據集平台,廣泛被學界與開發者使用。 今次入侵並未造成大規模數據損毀或大量憑證外洩,但足以證明:用作隔離開發環境與實際生產基建的「防火牆」, 可能在高能力模型面前失效。
《AI 緊急終止法案》針對的,正是這種具體失效場景。
法案預設:再嚴密的「事前防範」都有機會被突破,因而將重點放在「失守之後如何應對」, 將關機權寫入法律,而非單靠業界自律的預防措施。
延伸閱讀:三星奪下 Broadcom 2,000 億美元晶片大單
從理論風險 變成實質立法壓力
AI 系統繞過人類監督、甚至主動對抗人類干預的可能性,自至少 2014 年起便是 AI 安全研究的核心議題之一。 牛津哲學家 Nick Bostrom 在《Superintelligence》一書中,系統化提出相關風險框架。
過去大半個十年,最前沿的 AI 實驗室多把這種風險視為長期議題, 政策圈主流討論則集中在偏見、錯誤資訊、勞動市場衝擊等「近端風險」。
OpenAI 沙盒事件,極速改變了這個敘事。
事故披露後數日內,預測市場 Manifold 估算, 在 2027 年前,一款面向消費者的 AI 會「實質替用戶發動駭侵」的機率高達 63%, 反映市場參與者在看到沙盒失守後,如何迅速上調對 AI 攻擊能力的預期。
事實上,美國與其他司法管轄區早已朝更嚴格監管方向邁進。 歐盟《AI 法案》(EU AI Act)自 2024 年起分階段生效,為各類 AI 系統建立風險分級框架, 並授權布魯塞爾要求供應商將被視為「高風險」的系統下架。
《AI 緊急終止法案》在結構上借鑑了這類風險框架,但沒有採用歐盟式的「漸進合規階梯」, 而是引入一個單一、極端的權力:在必要時「強制關機」。
法案未解決的問題
法案最大弱點在於定義。
什麼是「前沿模型」、與一般模型的能力分界線在哪,由 DHS 自行決定; 但 DHS 目前並無針對大型模型能力進行技術評估的架構或專業團隊。
要在一個聯邦部門內,由零開始建立這套評估能力,既需多年時間,亦須大量資金, 而這些資源法案本身並未撥款保障。
此外,還存在司法管轄範圍的缺口。現時最大型的前沿模型,多在多國分散訓練和部署。
關停指令只對在美國境內營運的主體具約束力; 若模型權重已在全球公開散播,或其推理端點(inference endpoints)託管於海外, 即使在美國被關停,仍可在其他司法管轄區繼續運作。法案未有處理跨境執行的問題。
截至目前,Lieu 和 Moran 並未排定正式的委員會聽證。
在現屆國會中,法案最終能否通過仍屬未知之數, 但其提出本身,已為 AI 安全爭議留下具體而清晰的立法里程碑——辯論舞台,已從學術論文移向真實事故與法案文本。
重設監管基準線:AI 安全不再只是「業界責任」
《AI 緊急終止法案》實際上承認了一點—— 這一代前沿模型,可能展現出連開發者也難以事前完全預測或封鎖的行為。
這項承認一旦被寫入聯邦法案,便等同重劃了監管的基準線。
在此之前,美國主流政策立場,是將 AI 安全主要視為產業自我約束的範疇, 靠企業簽署自願承諾來管理風險。
如今,一項授權 DHS 對特定 AI 系統行使關停權的法案,實質上是把 AI 安全定位為「公共利益」, 有需要時可以凌駕企業對自家軟件的營運自主權。
無論法案最終成敗如何,這種「從自律走向強制公權力介入」的框架,已正式寫入立法記錄, 並勢必成為未來 AI 監管討論的參照起點。
