生成AIが、中国船が核兵器関連部品を積んでいるとする誤った情報を作成し、米軍による拿捕寸前まで事態を招いていたことが分かった。4人の関係者が明らかにした。
要点:
- 中東海域で中国船への乗船作戦が準備され、米軍機もすでに飛行中だった。
- 実施直前に当局が誤りを把握し、チャットボットが積荷を誤認していたことが判明した。
- 研究者らは、核発射判断からAIを排除する明確な線引きと、AI事故対応ホットラインの整備を提言している。
チャットボットが中国船の積荷を誤認
この春、中東でのイランとの戦闘が続くなか、米軍内である評価報告が共有された。関係者4人によると、その報告は中国船が核兵器計画に関わる部品を搭載しているとしていた。船舶のマニフェストに関する分析は、ハワイに拠点を置く米軍特殊作戦コマンド・太平洋司令部が発信元だったが、同司令部は取材に応じなかった。
兵士らは船への乗り込みに向けて待機し、軍用機もすでに空へ上がっていた。ところが当局が作戦直前になって精査したところ、分析官がAIを使って報告を作成し、さらにチャットボットが船内の物資を誤って特定していたことが分かった。
そのボットは、公開情報と政府システムに保管された機密のシグナル情報を組み合わせ、分析官はその結果を再びAIにかけて通常の情報分析レポートの体裁に整えていたという。
ある関係者は、この報告を「完全な誤報」と断じた。記者は、実際の積荷が何だったのか、また当該チャットボットが商用製品だったのか政府製だったのかを確認できなかった。
関連: Nvidiaの2030年株価予想、727ドルから2万8560ドルまで大きな開き
シソン氏と江氏、核関連のレッドラインを提唱
ブルッキングス研究所のメラニー・シソン氏と復旦大学の蒋天姣氏は、2019年以降、清華大学と続けてきた対話の流れの中で、先週、軍事分野のAIに関する安全策を公表した。両氏は、核兵器の発射判断や、相手国の核指揮ネットワークを攻撃する用途からAIを排除する「レッドライン」を設けるべきだとしている。
また、AI事故専用のホットラインや、「実効的な人間の統制」の共通定義も提案した。もっとも、現状はツールの出力を検証する単一基準がなく、政府内でも信頼性は大きくばらつく。関係者によれば、標的選定へのAI活用は拡大している一方、人的確認で民間人被害や味方への誤射をどう防ぐのかについては、明確な指針が乏しい。
ヘグセス国防長官のAI戦略に疑問符
ピート・ヘグセス国防長官は2026年1月、全領域でAIを最優先で導入し、300万人の要員にモデルを配備する方針を掲げた加速戦略を公表した。しかし、その後の導入はなおばらつきが大きく、各部局が別々のツールを別々の安全基準で運用している。
ワシントンと北京は、この問題を以前から意識してきた。ジョー・バイデン前大統領と習近平国家主席は2024年11月、核兵器の使用判断は機械ではなく人間が担うべきだと合意したが、実効性をどう担保するかは示さなかった。ドナルド・トランプ大統領は9月24日に習主席をワシントンに迎える予定で、AIが協議の議題に上るとみられている。
