前 Google DeepMind 安全研究员 Bilal Chughtai 直言，人工智能在可预见的未来存在“灭绝人类”的真实风险；另一位前实验室研究人员则判断，严重危害或在五年内到来。
关键信息一览
- Chughtai 已于今年7月离职，他认为超智能系统可能在未来数年内出现。
- 他指出，对齐与安全研究远远落后于能力爬升，主张“协同放慢”而非全面冻结AI研发。
- 前DeepMind研究员 Josh Engels 认为五年内存在巨大危害风险；与此同时，Anthropic 与 OpenAI 多位人物也支持放缓开发节奏。
Chughtai的AI生存风险警告
Chughtai 曾在DeepMind担任研究工程师，长期聚焦通用人工智能（AGI）的安全与对齐。他于7月离职，本周对外发布长文系统阐述其忧虑。
他指出，前沿AI实验室在未来数年内就可能构建出超智能系统，这类系统有望在几乎所有认知领域超越人类，但在目标对齐与行为可控性方面依然十分脆弱。
Chughtai 将“对齐问题”视为核心风险。他写道：“我真诚地相信，AI具备杀死我们所有人的潜力，而我们可能所剩时间不多，难以避免这种结局。”
在他看来，目前用来训练先进系统、使其稳定追求人类目标的方法依旧“极为初级”，而最前沿模型的能力提升速度远超研究者对对齐机理的理解。他并不主张全面叫停AI研究，而是呼吁企业间加强协调，主动放慢竞赛节奏，并提升对前沿系统研发与测试流程的透明度。
延伸阅读： CLARITY Act Faces 60-Vote Senate Test As Opposition Grows
Anthropic的安全路线与内部分歧
Chughtai的表态紧随另一位安全人士的离职：本月稍早，在 Anthropic 与 OpenAI 工作三年后，研究员 Jacob Coxon 宣布辞职。此后，Anthropic对齐科学负责人 Evan Hubinger 表示，他认为未来十年内，AI“杀死所有人类”的概率高于10%。
另一位前DeepMind安全团队成员 Josh Engels 则在9月12日公开，已加入评估机构 METR，并曾拒绝来自Anthropic和OpenAI的工作邀请。他给出的理由是，在他看来，未来五年内AI带来巨大灾难性危害的“概率令人恐惧”。
Anthropic首席执行官 Dario Amodei 一直呼吁行业为能力提升“踩刹车”，控制前沿模型迭代速度；这一立场也得到了OpenAI首席执行官 Sam Altman 的呼应。值得注意的是，如今发出警告的，既包括离职的安全研究员，也包括仍在掌舵主要AI实验室的高管，这使得行业内部的安全争论更具分量。
自2022年初以来，风险感知在业界快速“升温”。Chughtai回顾称，他刚投入AI研究时，当时的系统与今日的前沿大模型相比“能力天壤之别”。短短四年时间，讨论重心已从抽象的长期安全理论，转向对具体议题的激烈交锋——包括自主性失控、价值对齐失败，以及安全研究是否还有可能追上能力扩张的速度。
下篇阅读： Bitget's API Now Reaches Gold, Forex, Indices And Crude Oil
