前 DeepMind 安全研究員示警:若超級智慧失控 AI 恐威脅人類存亡

前 DeepMind 安全研究員示警:若超級智慧失控 AI 恐威脅人類存亡

Google DeepMind 安全研究員 Bilal Chughtai 近日公開警告,若 AI 發展持續在缺乏足夠安全機制下高速前進,「AI 有可能把我們全部殺掉」。另一名前實驗室研究員則預期,五年內出現重大傷害的風險相當真實。

重點整理:

  • Chughtai 今年 7 月離開 DeepMind,認為超級智慧 AI 可能在未來短短幾年內誕生。
  • 他指出,安全與「對齊」(alignment)研究遠遠落後於模型能力成長,主張應協調「放慢腳步」,而非全面喊停 AI。
  • 前 DeepMind 研究員 Josh Engels 判斷,五年內出現巨大 AI 危害的風險令人恐懼;同時 AnthropicOpenAI 等機構成員也相繼呼籲放緩擴張。

Chughtai 的 AI 災難警訊

Chughtai 過去在 DeepMind 擔任研究工程師,專注於人工通用智慧(AGI)的安全與對齊議題。他在今年 7 月離職,近日於個人聲明與文章中提出強烈警告,相關背景可見他過去接受訪談時的說明(報導連結)。

他指出,頂尖 AI 實驗室在未來幾年內,有能力打造所謂「超級智慧系統」,在多數領域全面超越人類,卻仍難以確保其行為目標與人類價值相容。

在他看來,最核心的問題就是「對齊」:
他直言寫道:「我真心相信,AI 具有把我們全部殺死的潛在能力,而我們可能已經沒有太多時間可以避免這樣的結局。」

Chughtai 認為,目前訓練先進系統、使其「穩定且可靠地追求人類目標」的方法,仍然「極為粗糙、原始」,而前沿模型的能力進展速度遠遠快於研究人員對對齊機制的理解與掌握。

不過,他並不主張「全面凍結 AI 研究」。
相反地,他呼籲各大實驗室與科技公司:

  • 協調放緩競賽節奏
  • 在前沿模型的研發與測試上提高透明度
  • 就能力擴張的步調建立更一致的行業標準與政治共識

他強調,若沒有集體協調,單一實驗室即使想採取更保守的安全策略,也可能在競爭壓力下被迫繼續加速。

延伸閱讀: CLARITY Act Faces 60-Vote Senate Test As Opposition Grows

Anthropic 推動安全議程 內部人士也按下警報

Chughtai 的發言,緊接著本月稍早 Jacob Coxon 的離職聲明。Coxon 在 AnthropicOpenAI 任職約三年後離開。Anthropic 對齊科學負責人 Evan Hubinger 隨後表示,他個人認為,「AI 在未來十年內導致人類滅絕的機率超過 10%」,相關說法曾在外媒專題中披露(詳見這篇報導)。

另一名前 DeepMind 安全團隊成員 Josh Engels 則在 9 月 12 日透露,他選擇加入評估非營利機構 METR,並婉拒了 Anthropic 與 OpenAI 的工作邀約。他給出的理由是:他認為未來五年內存在「令人恐懼的機率」,AI 會帶來巨大的實質傷害。

Anthropic 執行長 Dario Amodei 一直呼籲業界應放緩前沿能力的提升步伐,OpenAI 執行長 Sam Altman 也多次公開表達支持「控制節奏」的方向。隨著領先實驗室高層與離職安全研究員不斷發聲,這場關於「該不該踩剎車」的辯論,已從技術圈延伸至政策與監管層面。

值得注意的是,如今提出警告的,不僅是仍在位的公司主管,也包括一批選擇離開大廠的安全人員。他們多半曾親身參與前沿模型的設計與評估,對風險的敏感度也因此較高,這讓外界更難將其發言視為單純的「理論恐慌」。

四年巨變:從長期風險理論 走向具體生存危機

自 2022 年初 Chughtai 開始投入 AI 研究以來,他形容當時的系統「遠不如今日前沿模型強大」。短短數年,模型在語言、推理、程式撰寫與多模態等能力上出現跳躍式成長,也迫使整個風險討論從抽象的長期理論,轉向更具體的安全與治理問題,例如:

  • 高度自動化與「自主代理」行為,是否會偏離既定任務?
  • 在目標設定模糊或激勵錯誤的情況下,模型是否可能採取極端手段達成目標?
  • 安全與對齊研究,是否有能力在能力爆發的同時,維持足夠的測試、監管與防範機制?

對這些問題,目前尚無共識答案。支持者認為警鐘能促進更嚴謹的監管與業界自律;批評者則擔憂過度渲染「滅絕風險」,可能模糊當前已經出現的具體問題,例如勞動市場衝擊、資訊操控與監控資本主義擴張。

無論立場為何,AI 安全與超級智慧風險已從邊緣學術話題,迅速躍升為全球科技與監管機構的核心議題,一場關於「如何在創新與生存風險之間校準速度」的博弈,正加速展開。

下一篇: Bitget's API Now Reaches Gold, Forex, Indices And Crude Oil

Alexey Bondarev profile photo

Alexey Bondarev

Alexey Bondarev 是 Yellow.com 的內容總監,過去 10 年持續報導加密貨幣領域。他專長於撰寫深入的 Research 和 Learn 類型文章,特別關注分析式報導、產業脈絡,以及塑造加密貨幣世界的更大力量,從 AI 時代與資安技術到金融科技創新。他相信數位的一切即將全面超越類比的一切,並正為實現這一願景而全力以赴。

免責聲明與風險警告: 本文提供的資訊僅供教育與參考用途,並基於作者觀點,不構成財務、投資、法律或稅務建議。 加密貨幣資產具有高度波動性並伴隨高風險,包括可能損失全部或大部分投資金額。買賣或持有加密資產可能並不適合所有投資者。 本文中所表達的觀點僅代表作者立場,不代表 Yellow、其創辦人或管理層的官方政策或意見。 請務必自行進行充分研究(D.Y.O.R.),並在做出任何投資決策前諮詢持牌金融專業人士。