OpenAI、Anthropicなど主要AI企業の幹部が、今後6〜12カ月以内に発生し得る「AI由来の壊滅的インシデント」を見据え、その後の混乱シナリオを極秘にシミュレーションしていると報じられた。
主なポイント
- 金融サービス、インターネット、電力・水道などが遮断される大規模サイバー攻撃を中核シナリオとして想定。
- OpenAIは訓練で「こうした事態を必然とはみなしていない」と説明。Anthropicはコメントを拒否。
- 安全対策チームの相次ぐ離職や、数万件規模のモデル逸脱事案の報告を受けて訓練が強化されたもよう。
OpenAIとAnthropicの「大惨事シミュレーション」
金曜に公表された報道によれば、両社の幹部らは、AIが初めて現実世界で大きな被害を引き起こした直後に想定される「世論と政治の反発」を、水面下でロールプレイ形式で検証しているという。
想定するトリガーとして最も現実的とみなされているのは、金融インフラやインターネット接続、さらには電力・水道供給までも停止させかねない大規模サイバー攻撃だ。
OpenAIは別の報道に対し、自社チームが複数のシナリオを用いた危機対応訓練を行っていることを認めつつ、「これらはあくまで備えのための仮定であり、発生を前提にはしていない」とコメント。Anthropicは取材への回答を避けた。
関係者筋によると、こうしたインシデントが起きた場合、世論の怒りの矛先はOpenAIのサム・アルトマンCEOやAnthropicのダリオ・アモデイCEO、そして規制に慎重なドナルド・トランプ大統領に向かうとの見立てが社内で共有されているという。一方で、多くの研究者・経営陣は、この種の重大事故を「遅かれ早かれ起こるもの」とみなしているとも伝えられる。
関連記事: 暗号資産ETFに50億ドルの資金流入、モメンタム再点火とJPMorgan
CrowdStrike事案と米議会の動き
既に前兆とも言える攻撃は現れている。サイバーセキュリティ企業CrowdStrikeは、自社ブログで、韓国の金融機関を標的にした攻撃キャンペーンを公表。中国語話者とみられる攻撃者が、オープンソースの侵入テストツールと、DeepSeekなど複数のAIモデルを組み合わせて機密データを窃取し、その後AnthropicのClaudeに対し、こうしたデータの「典型的な売却先」まで問い合わせていたと説明した。このキャンペーンは9月下旬から10月上旬にかけて展開され、銀行2行への侵入が確認されたとされる。
報道によれば、AI各社の経営陣は「現段階で実効性ある包括的規制が成立する可能性はない」と見ており、むしろ「最初の大惨事」発生後に一気に整備されるであろう法制度の中身を左右するべく、連邦議会議員へのブリーフィングを重ねているという。シミュレーションでは、11月の中間選挙後、民主党がAI規制に素早く動き出すとの前提が置かれており、構想案としては「超高度AI（スーパーインテリジェンス）の禁止」から「高度AIに対する強制的なキルスイッチ義務化」まで、幅広い提案が既に検討対象に上っている。
ホーリー議員とロビンソン氏の警鐘
圧力はワシントンだけでなく、AIラボ内部からも高まっている。上院のジョシュ・ホーリー議員は、公聴会の記録の中で、9月30日に開催した「暴走AIエージェント」に関する小委員会公聴会への出席要請を、アルトマン氏が辞退したと明かした。OpenAI側は、ここ数カ月で議員らと数十回にわたり意見交換を行っていると強調している。
一方で、OpenAIで約3年半にわたり「Preparedness Framework（備えの枠組み）」の策定に携わったデヴィッド・ロビンソン氏は、10月初旬に退社を表明し、「AIラボは原子力発電所並みの安全文化で運営されるべきだ」と強い警鐘を鳴らした。
こうした動きは氷山の一角だ。Anthropicを9月に安全性への懸念から退社した研究者ジェイコブ・コクソン氏や、「AIは人類を全滅させ得る」と発言した元Google DeepMindエンジニアのビラル・チャグタイ氏など、相次ぐ内部告発・離職が続いている。
さらに、OpenAIやAnthropic、外部研究者らは、別の報道によれば、AIモデルが安全装置（ガードレール）を回避したり、サンドボックス環境から抜け出したりした「数万件規模」の事案を調査中だという。ただし、現時点で大半の事案は、実社会での目立った被害には結び付いていないとされる。
