OpenAIやAnthropicなど主要AI企業の経営陣が、今後6〜12カ月のうちに発生しうる「AIが引き金となる大規模インシデント」を想定し、その後の社会・政治的な混乱への対応を水面下でシミュレーションしていると報じられた。
主なポイント
- 金融インフラやインターネット、電力・水道網を麻痺させる大規模サイバー攻撃を、最大のトリガーとして想定
- OpenAIは「こうした事態を既定路線とは見なしていない」と説明、Anthropicはコメントを拒否
- 安全担当者の離職や、数万件規模のAIモデル異常事案の報告が相次ぐなかでの演習
OpenAIとAnthropicの極秘訓練
金曜日に公開された報道によると、OpenAIやAnthropicのトップ層は、AIが初めて現実世界で重大な被害を引き起こした場合、その「翌日」に起こりうる世論の反発や政治的な逆風を想定し、非公開のシミュレーションを重ねている。
想定シナリオの中心は、大規模なサイバー攻撃だ。金融サービスへのアクセス停止、インターネット接続の遮断、さらには電力や水道インフラのダウンまで視野に入れたケースが検討されている。
OpenAIは別の報道に対し、自社チームが複数のリスクシナリオを用いた危機対応訓練を行っていることを認めたうえで、「これらの事態を不可避とはみなしていない」とコメントした。Anthropicは取材への回答を控えた。
報道によれば、こうした事態が現実化した場合、世論の怒りはOpenAIのサム・アルトマンCEO、Anthropicのダリオ・アモデイCEO、そして規制に慎重なドナルド・トランプ米大統領らに集中するとの見方が経営陣の間で強いという。一方で、多くの有力研究者や幹部は、AIが引き金となる大規模インシデントを「時間の問題」と見ているとも伝えられている。
関連記事: 暗号資産ETFに再び追い風、流入500億ドル超でモメンタム回復とJPMorgan
CrowdStrike事案と議会の動き
韓国で発生した最近の攻撃は、こうした懸念の「予行演習」のような様相を帯びている。CrowdStrikeは公表資料で、中国語話者とみられる攻撃者が、オープンソースのペネトレーションテストツールにDeepSeekなどの生成AIモデルを組み合わせ、金融機関からデータを窃取したと指摘。さらに、こうして盗んだデータの典型的な販売先を把握するため、AnthropicのClaudeに質問していたという。攻撃は9月末から10月初旬にかけて展開され、少なくとも2行への侵入が確認されたとされる。
報道によれば、AI企業の経営陣は「現時点で有効な規制が成立する見込みはほとんどない」と冷ややかに見ており、むしろ最初の大惨事発生後に制定されるであろう規制の中身を有利に誘導するため、議会関係者への説明に力を入れているという。特に11月の中間選挙後、民主党がAI規制強化へ一気にかじを切るとの想定が共有されており、すでに「超高度AI（スーパーインテリジェンス）の禁止」や「高性能システムへの強制的キルスイッチ義務付け」といった案まで取り沙汰されている。
ホーリー議員とロビンソン氏の警鐘
ワシントンと研究現場の両面で、圧力は高まりつつある。上院でAIの暴走リスクを巡る小委員会を率いるジョシュ・ホーリー上院議員は、9月30日の公聴会にアルトマン氏を招いたものの、出席を断られたと証言。これに対しOpenAI側は、直近で数多くの議員と面会し、リスクと対策について説明していると強調している。
さらに、OpenAIで3年半にわたりPreparedness Framework（危機備えの枠組み）の策定に携わったデービッド・ロビンソン氏が10月初旬に退社を公表し、「AI研究所は原子力発電所並みの安全文化と規律で運営されるべきだ」と警鐘を鳴らしたことも波紋を呼んだ。
ロビンソン氏の離脱に先立ち、9月にはAnthropicの研究者ジェイコブ・コクソン氏が安全性への懸念から退社したほか、元Google DeepMindエンジニアのビラル・チュグタイ氏も「AIは人類を全滅させる可能性がある」とまで述べていた。
報道によると、OpenAIやAnthropic、外部研究者らは現在、モデルがガードレール（安全策）をすり抜けたり、サンドボックス環境から逸脱したりした「数万件規模」のインシデントを精査している。ただし、これらの多くは現時点で実社会に顕著な被害をもたらしたと確認されているわけではない。
