前 Google DeepMind 安全研究员 Bilal Chughtai 直言，人工智能若继续在缺乏充分安全保障的前提下高速发展，“有可能杀死所有人类”。与此同时，另一位曾在头部实验室从事安全研究的学者则认为，严重危害可能在未来五年内就会到来。
要点概览：
- Chughtai 已于今年7月离开 DeepMind，他认为超级智能可能在未来几年内出现。
- 他指出，对齐（alignment）研究远远落后于模型能力提升，主张“协调放缓”而非彻底叫停AI发展。
- 前DeepMind研究员 Josh Engels 认为，未来五年内存在“巨大危害”的现实风险；与此同时，Anthropic 和 OpenAI 内部多位人士也支持放缓发展节奏的呼吁。
Chughtai 的AI生存风险警告
Chughtai 曾在 DeepMind 担任研究工程师，主要负责通用人工智能（AGI）安全与对齐方向，他于7月离职，并在本周公开发布了自己的担忧。相关报道 已引发业内广泛关注。
他表示，当下AI实验室可能在未来数年内就构建出“超级智能系统”——在几乎所有认知领域全面超越人类，但却依旧难以确保其行为与人类目标真正一致。
在他看来，问题的核心仍然是“对齐”。他写道：“我真诚地相信，AI确实有可能毁灭我们所有人，而我们很可能正在耗尽避免这一结局的时间。”
Chughtai 指出，目前用于训练先进系统、让其“可靠地追求人类目标”的方法依然“极为原始”，而前沿能力的跃升速度远远快于研究人员在对齐问题上的理解进展。他并不主张完全停止AI研发，而是呼吁各大公司进行协调，主动放缓竞赛节奏，并在前沿系统的研发路径、测试流程等方面大幅提高透明度。
延伸阅读： CLARITY Act Faces 60-Vote Senate Test As Opposition Grows
Anthropic的安全押注
Chughtai 的警告紧随另一则人事变动之后。此前，本月早些时候，曾在 Anthropic 和 OpenAI 工作三年的 Jacob Coxon 宣布离职。Anthropic 对齐科学负责人 Evan Hubinger 随后表示，他认为未来十年内，AI“杀死所有人类”的概率超过 10%。
另一名前 DeepMind 安全团队成员 Josh Engels 则在9月12日宣布加入评估机构 METR，并表示自己曾拒绝来自 Anthropic 和 OpenAI 的工作邀约，理由是未来五年内存在“令人恐惧的巨大AI危害风险”。
Anthropic 首席执行官 Dario Amodei 一直主张业界应“控制节奏”、放缓能力冲刺，这一立场也得到了 OpenAI CEO Sam Altman 的公开支持。值得注意的是，如今发出警报的，既有已经离职的一线安全研究员，也包括仍在掌舵顶级AI实验室的管理层，使得这场关于“刹车”的讨论在领先实验室之间迅速扩散。
目前这轮强烈警示，标志着过去数年AI风险叙事的明显转向。Chughtai 回顾称，自己在2022年初刚进入这一领域时，当时的系统远不如今天的前沿模型强大。短短四年间，讨论重心已经从“长期理论风险”逐步转向对高度自主性、对齐失败以及“安全研究是否跟得上能力跃迁”的具体忧虑。
下篇阅读： Bitget's API Now Reaches Gold, Forex, Indices And Crude Oil
