元 Google DeepMind の安全性研究者 ビラル・チャグタイ（Bilal Chughtai） 氏が、 AIが人類を滅ぼす可能性があると警鐘を鳴らした。別の元研究者も「5年以内に深刻な 被害が現実化しうる」と危機感を示している。
主なポイント
- チャグタイ氏は7月にDeepMindを退職し、「数年以内に超知能が出現しうる」と指摘。
- 能力向上のスピードに対しアラインメント研究が大きく遅れており、「開発停止ではなく協調的な減速」を支持。
- 元DeepMind研究者 ジョシュ・エンゲルス（Josh Engels） 氏は「5年以内の甚大な被害リスク」を懸念。 Anthropic や OpenAI の関係者も開発ペース抑制の必要性に言及。
チャグタイ氏の「AI人類滅亡リスク」警告
人工汎用知能（AGI）の安全性とアラインメントを重点的に研究してきた 元リサーチエンジニアのチャグタイ氏は、7月にDeepMindを去った後、今週あらためて危機感を公表した。
同氏は、AIラボが「数年以内に人間をあらゆる領域で凌駕する超知能システム」を構築しうる一方で、 そうしたシステムを人間の目的に確実に沿わせることは依然として極めて難しいと指摘する。
チャグタイ氏は、問題の核心はアラインメントにあるとし、次のように綴っている。
「私は本気で、AIには人類を皆殺しにする潜在力があり、我々はその結末を回避する時間を 失いつつあるかもしれないと考えています」
先端モデルに人間の目標を一貫して追従させる現在の訓練手法については 「極めて原始的な段階にとどまっている」と評し、最前線の能力向上のスピードが アラインメント理解の進展を大きく上回っていると懸念を示した。
もっとも、同氏はAI開発の「全面停止」を求めてはいない。求めているのは、 企業間で競争レースを緩和し、開発ペースを協調的に落とすこと、 そしてフロンティアモデルの設計・検証プロセスをより透明にすることだという。
関連記事: CLARITY Act Faces 60-Vote Senate Test As Opposition Grows
Anthropicで高まる安全性重視の動き
チャグタイ氏の警告に先立ち、今月初めには ジェイコブ・コクソン（Jacob Coxon） 氏が、 AnthropicとOpenAIでの計3年にわたる勤務を経て退職した。
Anthropicのアラインメントサイエンス責任者 エヴァン・ハビンジャー（Evan Hubinger） 氏はその後、 今後10年以内に「AIが人類を全滅させる確率は10％超と見ている」 と発言し、波紋を呼んだ。
DeepMindの安全性チームでも働いたエンゲルス氏は、9月12日に評価専門の非営利団体 METR に参加したと表明。AnthropicとOpenAIからのオファーを断った理由として、 「5年以内に非常に大きなAI被害が起こりうるという、恐ろしく高い確率」を懸念したためだと説明した。
AnthropicのCEO ダリオ・アモデイ（Dario Amodei） 氏は、各社に対し能力向上のペースを抑制するよう 繰り返し訴えている。OpenAIのCEO サム・アルトマン（Sam Altman） 氏もこの立場を支持しており、 主要ラボ間で「拡大競争のペースを落とすべきだ」とする認識の共有が進みつつある。
重要なのは、こうした警告が、研究現場を離れた安全性研究者だけでなく、 大手AIラボを率いる経営トップの側からも上がり始めている点だ。
現在の危機感は、チャグタイ氏がAI研究に本格的に関わり始めた2022年前半からの わずかな期間で一変した状況を映している。当時のシステムは現在のフロンティアモデルに比べ はるかに能力が低く、議論の焦点も長期的な安全性理論が中心だった。
それから4年足らずで、議論は自律性やアラインメント、そして「安全研究が能力向上の スピードに追いつけるのか」という、より具体的で喫緊のテーマへと急速に移行している。
次の記事: Bitget's API Now Reaches Gold, Forex, Indices And Crude Oil
