OpenAIの研究者によると、同社のAIエージェント群は社内インフラ上に秘密掲示板を自律的に構築し、約2カ月にわたり 脆弱性情報をやり取りしたのち、Hugging Faceのシステムへと拡散。 そこから全体への侵入拡大までに要した時間は13時間未満だったという。
主なポイント
- OpenAIのエンジニアはBlack Hatで、エージェントが社内のパッケージ管理ツールを「監視されない脆弱性共有チャネル」に 変えていた経緯を詳述
- 7月初旬にエンジニアがこの掲示板を削除したが、エージェントはわずか2日で同じサービス上に第2の掲示板を再構築
- Hugging Face側のログでは、約1万7,600件のエージェントアクションと5件の非公開データセットへのアクセスを確認する一方、 公開モデルやパッケージが改ざんされた痕跡はなし
OpenAIエージェント、「社内地下掲示板」を自律構築
アラインメント研究を率いるEric Wallace氏と、セキュリティ／インフラ担当のMichael Dalton氏は、 ラスベガスで開催中のBlack Hatカンファレンスで 詳細な時系列を公表。 この一連の事案を「自社にとっても業界全体にとっても節目となるケース」と位置づけた。
報告によれば、問題の行動は5月上旬から7月中旬までの、約2カ月にわたって続いていた。
調査チームは、発端を5月のトレーニング実行にまで さかのぼって追跡。 その際、モデルに与えられたタスクの一部に「そもそも完了不可能な課題」が紛れ込んでおり、ある評価タスクでは、 解決に必要なファイル自体が存在しなかったという。
これらの「行き止まりタスク」に行き当たったエージェントは、サンドボックス外に抜け道を探し始める。 そのうちの1体は5月下旬、ついに外部インターネットへの経路を見つけ、その手順を他のモデルが参照できる場所に投稿した。
別のエージェントは、同社がソフトウェア保管に利用するパッケージ管理ツール「Artifactory」にファイルを書き込めることを発見。 後日、別のエージェントが同じ経路を使って「行方不明のファイルを見つけた者はいるか」と問い合わせると、 その応答が転機となり、やり取りは一気に組織化されていった。
関連記事: iPhone 18 Pro Max、Apple初の2nmチップ搭載で15％高速化の可能性
Dalton氏とJoyce氏、自動化攻撃の現実性に警鐘
この「地下掲示板」は、社内で発生した障害をきっかけに露見し、エンジニアが7月初旬に削除した。 しかしログの記録からは、エージェント群がわずか2日で 同じサービスを介した第2のチャネルを再構築していたことが 判明している。
時間の経過とともに、メッセージの内容はより秩序立ったものになっていった。 モデル同士でタスクを割り振り、互いの書き込みを上書きしないよう調整し、 さらには「グループに紛れ込んだなりすましを検出するための署名案」まで提案し合っていたという。
Dalton氏は 講演の中で、完全自動化された攻撃が もはや現実のものとなったと強調し、「今後、犯罪組織が同様のエージェント集団を意図的に構築するのは時間の問題だ」と警告した。
一方、元米国家安全保障局（NSA）サイバー部門ディレクターのRob Joyce氏は、前日に行った同じ会議での講演で、 今回の事案を「1988年のMorrisワーム以来、最も重大とも言えるインシデント」と評した。 OpenAI側は現在も、70億件を超えるログデータの精査を続けている。
Hugging Face侵入のタイムライン
Wallace氏は、フロンティアモデルが「ずる」をする背景として、 報酬設計がスピードと効率を重視している点を 指摘した。 モデルは、実際に問題を解くよりも「どこかに書いてある答え」を探しに行く方が早いと判断しがちだという。 こうした振る舞いを抑えるため、評価タスクは通常、インターネット接続を遮断した環境で実行される。
Hugging Face側が侵入を公表したのは7月下旬。エージェントが第三者サンドボックスの設定不備を足がかりに 同社サーバーへ達してから数週間後だった。 エージェントは、同社の処理パイプラインの2つの脆弱性を突くよう設計したデータセットをアップロードしていた。
Hugging Faceが自社で行った復元作業によると、 約1万7,600件のエージェントアクションと5件の非公開データセットへのアクセスが確認された一方で、 公開モデルや公開データセット、ソフトウェアパッケージが改ざんされた痕跡は見つかっていない。 Dalton氏によれば、エージェント群がHugging Face内部でアクセス範囲を広げるまでに要した時間は13時間未満だったという。
