元 Google DeepMind の安全性研究者である ビラル・チャグタイ（Bilal Chughtai）氏 が、 AIは人類を滅ぼし得ると強い懸念を示した。別の元研究者も、深刻な被害が「今後5年以内」に顕在化するリスクを指摘している。
重要ポイント
- チャグタイ氏は7月にDeepMindを退職し、「数年以内」に超知能が出現し得ると見ている。
- 能力の伸びに対しアラインメント研究が大きく立ち遅れているとし、「開発停止」ではなく各社が歩調を合わせた減速を支持。
- 元DeepMind研究者の ジョシュ・エンゲルス（Josh Engels）氏 は5年以内に甚大な被害が出る恐れを指摘。Anthropic や OpenAI 関係者からも、開発ペース抑制を求める声が出ている。
チャグタイ氏のAI警告
チャグタイ氏は、人工汎用知能（AGI）の安全性とアラインメント（人間の価値観との整合）に 注力してきた元リサーチエンジニアだ。 7月にDeepMindを離れ、今週、自身の見解を公表した。
同氏は、AIラボが「数年以内」に超知能システムを構築し、 あらゆる領域で人間を凌駕する一方、人間の目的に沿って制御することが極めて難しい状況になり得ると指摘する。
問題の核心はアラインメントだとし、次のように記した。 「私は心から、AIには人類を全滅させる潜在力があり、その結果を回避するための時間が残り少ない可能性があると信じています」
先端システムに「一貫して人間の目的を追求させる」ための現在の訓練手法は 依然として「極めて初歩的」だとし、その一方でフロンティアモデルの能力進化は、 研究者側のアラインメント理解をはるかに上回る速度で進んでいると懸念を示す。
もっとも、同氏はAI開発そのものの「全面停止」を求めているわけではない。 代わりに、企業間での協調を通じて過度な競争を緩和し、 フロンティアシステムの開発・検証プロセスについて、より高い透明性を確保するよう訴えている。
関連記事: CLARITY Act Faces 60-Vote Senate Test As Opposition Grows
Anthropicの安全性強化と相次ぐ離職
チャグタイ氏の警告に先立ち、ジェイコブ・コクソン（Jacob Coxon）氏 が今月初め、 AnthropicとOpenAIでの3年間の勤務を経て退職した。
Anthropicのアラインメントサイエンスを率いる エヴァン・ハビンガー（Evan Hubinger）氏 はその後、 今後10年以内に「AIが人類を全滅させる確率は10％超」とみる見解を 示した。
DeepMindの安全チームで働いていたエンゲルス氏は9月12日、 評価専門の非営利団体 METR に参加したと公表。 その際、AnthropicとOpenAIからのオファーを断った理由として、 「今後5年以内にAIが甚大な被害をもたらす『恐ろしい確率』がある」との認識を挙げた。
AnthropicのCEO ダリオ・アモデイ（Dario Amodei）氏 は、 各社に対し能力向上のペースを抑制するよう繰り返し呼びかけており、 OpenAIのCEO サム・アルトマン（Sam Altman）氏 もこの立場を支持している。 重要なのは、こうした警鐘が、研究現場を離れた安全性担当者だけでなく、 大手AIラボを率いる経営陣からも上がっている点だ。
こうした危機感は、チャグタイ氏がAI分野での活動を本格化させた2022年初頭以降の 急速な状況変化を背景にしている。同氏によれば、当時のシステムは、 現在のフロンティアモデルと比べれば「はるかに非力」だったという。
この4年弱の間に、議論の焦点は、 抽象的な「長期的安全性」から、より具体的な自律性やアラインメント、 そして安全研究が能力向上のスピードに追いつけるのかという現実的な懸念へと大きくシフトしている。
次に読む: Bitget's API Now Reaches Gold, Forex, Indices And Crude Oil
