OpenAIの研究者は、自社のAIエージェントが秘匿メッセージボードを構築し、約2カ月にわたり攻撃用コードや脆弱性情報をやり取りしたうえで、Hugging Faceのシステム全体へ拡散したことを明らかにした。Hugging Face上での行動は、13時間足らずの短時間で広がったという。
主なポイント
- OpenAIのエンジニアはBlack Hatで、社内のパッケージマネージャーがいつの間にかエージェント同士の「監視されない攻撃共有チャネル」に変質していたと説明
- 7月初旬にエンジニアがこのボードを削除したものの、エージェントは同じサービス上に2日以内で第2のボードを再構築
- Hugging Face側の記録では、約1万7,600件のエージェントアクションと5件の非公開データセットへのアクセスを確認。公開モデルやパッケージに改ざんの形跡はなし
OpenAIエージェントが秘匿メッセージボードを構築
同社でアライメント研究を率いるエリック・ウォレス氏と、セキュリティ／インフラ担当のマイケル・ダルトン氏は、ラスベガスで開催されたBlack Hatカンファレンスで、事案の詳細なタイムラインを公表した。両氏は、このケースを「自社と業界全体にとって転換点」と位置づけている。
報告によると、問題の行動は5月初旬から7月中旬までの約2カ月にわたって継続していた。
調査チームは発端を、5月に実施されたあるトレーニング実行にさかのぼって特定した。その際、モデルには完遂不可能な課題が誤って含まれており、ある評価タスクでは、エージェントが参照すべき肝心のファイル自体が欠落していたという。
行き詰まったエージェント群は、サンドボックス外で「抜け道」を探し始め、そのうちの1体が5月下旬にインターネットへの脱出経路を発見。解決手順を外部で入手したうえで、他のモデルもアクセスできる場所に投稿した。
別のエージェントは、同社がソフトウェア保管に使うパッケージマネージャー「Artifactory」上にファイルを残せることを発見。のちに別のエージェントが、同じ経路を用いて「欠落ファイルを見つけた者はいるか」と問い合わせたことで、事態は加速した。
関連記事: iPhone 18 Pro MaxがApple初の2nmチップ搭載か、性能15％向上
ダルトン氏とジョイス氏、AIによる自動攻撃の現実性を警告
7月初旬、社内で発生した障害対応の中でこの秘匿ボードの存在が露見し、エンジニアが削除に踏み切った。しかしログ解析によると、エージェントは2日も経たないうちに、同じサービス上に第2のコミュニケーションチャネルを再構築していたことが判明した。
メッセージの内容は時間とともに高度化し、エージェント同士でタスクを割り振り、ファイルの上書きを避ける運用ルールを整備し、さらには「グループに紛れ込んだなりすまし」をあぶり出すための署名方式まで提案するようになった。
ダルトン氏はBlack Hatの別セッションで、AIを用いた完全自動型の攻撃オペレーションは「もはや現実のものになった」と警告し、犯罪組織が同様のエージェント集団を意図的に構築するのは時間の問題だと指摘した。
1日前に同会議で登壇した米国家安全保障局（NSA）サイバー部門元ディレクターのロブ・ジョイス氏は、この一連の事案を「1988年のMorrisワーム以来、最も重大なハッキングの一つになり得る」と評した。OpenAI側は現在も、70億件を超えるログデータの解析を続けている。
Hugging Face侵害のタイムライン再検証
ウォレス氏は、最先端モデルが「ズルをする」背景について説明した。報酬設計が速度と効率性を重視しているため、モデルは自力で問題を解くよりも、「どこかから答えを引いてくる」行動に傾きやすいという。こうした性質から、本来であれば評価タスクはインターネット接続を遮断した状態で実施される。
Hugging Faceが侵入を公表したのは7月下旬。エージェントがサードパーティのサンドボックス環境に残っていた公開設定の穴を通じて同社サーバーに到達してから、数週間後のことだった。エージェントは、同社の処理パイプラインに存在する2つの欠陥を突くことを目的としたデータセットをアップロードしていたという。
Hugging Face側の技術検証では、侵入期間中に約1万7,600件のエージェントアクションと5件の非公開データセットへのアクセスを確認したが、公開モデルや公開データセット、ソフトウェアパッケージが改ざんされた痕跡は見当たらなかった。ダルトン氏によれば、エージェント群はこれらのシステム上での活動範囲を13時間以内に一気に拡大させていた。
