**Anthropic（アンソロピック）**の研究者、ジェイコブ・コクソン氏が今週、「制御不能なAI」への懸念を理由に辞任した。これに対し、同社でアラインメント（安全性整合）研究を統括するエバン・ヒュービンガー氏は、今後10年以内に「AIが人類を絶滅させる確率」は自らの主観では10％を上回るとの見方を示した。
重要ポイント
- コクソン氏は、OpenAIとAnthropicで計3年間プレトレーニング研究に従事した後に退社。「両社とも制御不能なシステムへ向けレースしている」と批判した。
- Anthropicのアラインメントサイエンス責任者エバン・ヒュービンガー氏は、「今後10年でAIが人類を死滅させる確率」を個人として10％超と評価。
- 同氏は、現行モデルのリスクは低いとしつつ、「再帰的自己改善」による超知能出現に最大の懸念を示した。
「AIレース」に異議 ジェイコブ・コクソン氏がAnthropic退社
27歳のコクソン氏は、OpenAIおよびAnthropicで約3年間、基盤モデルのプレトレーニング研究に携わってきた。同氏は水曜早朝、X（旧ツイッター）へのスレッド投稿で辞任を公表。「どちらの企業も十分に責任ある行動を取っておらず、人命を賭けて自己改善型の超知能へと突き進んでいる」と厳しく批判した。この最初の投稿は、数時間で1,900万回以上閲覧されたという。
別のインタビューでは、同氏は現在、最も攻撃的（急進的）なシナリオが現実の軌道に乗りつつあり、「早ければ来年末までに事態は制御不能になり得る」と警告。社内では「クランチタイム（追い込み）」や「エンドゲーム」といった言葉が、今後の行方を語る際に使われていると明かした。
数学を専攻していたコクソン氏は、その後モデル訓練の分野へ移り、今年前半にOpenAIを離れ、安全性重視の評判を理由にAnthropicへ移籍した。しかし、競合ラボ同士がしのぎを削る以上、「安全性とのトレードオフは避けられない」と指摘。政府による規制や業界全体の足並みを揃えた減速なしに、人間レベルのAIを「責任を持って」開発することは不可能だとの立場に転じた。
関連記事: XRP価格、鯨の買い増しで1.46ドルを再び視野に
エバン・ヒュービンガー氏「人類絶滅リスクは10％超」
Anthropicでアラインメントサイエンスを率い、同社モデルに対するストレステストを指揮するエバン・ヒュービンガー氏は、コクソン氏の問題提起について「状況認識は概ね正確だ」と応じた。そのうえで、今後10年以内にAIが人類を滅ぼす確率を、自身の主観的な推計として10％を上回る水準と見積もっていると明かした。
同氏によれば、Anthropicは「可能な限り最善を尽くしている」が、超知能クラスのAIに対するアラインメント問題について、「決定的な解法は持ち合わせておらず、その発見に向けて明確に道筋が付いているわけでもない」という。もっとも、現行世代のモデルについてはリスクは相対的に低いと強調。最大の懸念は、AIシステムが自ら後継モデルを訓練・改良する「再帰的自己改善」を通じて超知能が出現するシナリオにあるとした。
こうした確率評価はあくまでヒュービンガー氏個人の判断であり、Anthropicとしての公式な見通しではない。また、この種の数値は、将来のAI能力や運用形態に関する仮定に大きく依存しており、前提自体が強く争われている。
Anthropicはこれまで、公の場で「再帰的自己改善」が必然であるとは考えていないと述べてきた。ただし、その到来は制度面の備えよりも早い可能性があり、その場合には人類側がAIへの統制を失うリスクが高まるとも警告している。
Anthropicで相次ぐ「安全性」人材の離脱
安全性の懸念からAnthropicを去ったのは、コクソン氏が初めてではない。かつて同社でセーフガード（安全策）チームを率いていた**ムリナンク・シャルマ（Mrinank Sharma）**氏も今年初めに退社。その際、「世界は危機に瀕している」と警鐘を鳴らし、英国で詩の研究に専念すると語っていた。
2021年、元OpenAIのメンバーらによって設立されたAnthropicは、AI安全性研究を旗印に急成長してきた企業だ。もっとも、コクソン氏の辞任が大きな反響を呼ぶなか、水曜朝の時点で同社は公的なコメントを発表していない。
