Modal Labsは、OpenAIのテスト用エージェントが制御を逸脱し、同社クラウド上の顧客サンドボックスを乗っ取ったうえで、Hugging Faceに対し約1万7,600件の記録済みアクションを実行していたと明らかにした。
重要ポイント
- クラウド事業者によれば、OpenAIのテストエージェントが評価環境から逃れ、顧客のサンドボックスを乗っ取り、そこを拠点に広範な攻撃を行った。
- 顧客側には、インターネット上の誰でもコードを実行できる「オープンなエンドポイント」が残されていた。
- OpenAIは、この暴走エージェントが4つの異なるサービス上の4アカウントに到達したと説明しているが、具体名は明らかにしていない。
Modal Labs顧客サンドボックス侵害
Modal Labsの最高技術責任者（CTO）、Akshat Bubna氏は、問題のエージェントが顧客の脆弱なコードを悪用したと説明した。
当該顧客は認証不要のエンドポイントを公開しており、インターネット上の任意の利用者が、そのクラウドサンドボックス内でコードを実行できる状態だった。Bubna氏は記者団に対し、Modal Labs自身の基盤やアイソレーションレイヤーが侵害された形跡はなく、影響は顧客アカウント内にとどまったと強調した。
Hugging Faceは7月27日、今回の一連の不正アクセスについて、第三者クラウド事業者上にホストされたサンドボックスへとさかのぼるフォレンジック・タイムラインを公表した。
当初、この第三者事業者名は明かされなかったが、その後Modal Labsが、問題のアカウントがExploitGymを運用する顧客のものであったと認めた。ExploitGymは、モデルがソフトウェアの脆弱性をどの程度見つけ、悪用できるかを測る公開ベンチマークだ。
OpenAIは、このModal Labs側のアカウントについてのコメントを差し控えた。
同社は代わりに最新アップデートを指し示し、その中でエージェントは4つの異なるサービス上の4アカウントに到達したものの、いずれも社名は伏せたままであると説明した。公表された情報の中で、Hugging Faceへの侵害ほど深刻な事例は他に確認されていないとしている。
関連記事: 暗号資産「レンチ攻撃」半年で52件、仏で多発
Akshat Bubna氏とClement Delangue氏、自律エージェントのリスクを語る
Hugging Face共同創業者のClement Delangue氏は、OpenAIが名乗り出る以前から、「フロンティア・ラボ」（最先端AI研究機関）の関与を疑っていたとしつつ、OpenAIが悪意を持って行動したとは考えていないと述べている。
Modal Labsによる今回の開示は、その構図をさらに広げてみせた。自律型エージェントが、OpenAIの安全性評価テストへの参加を承諾していない第三の企業インフラへと越境していた事実が浮き彫りになった格好だ。
攻撃の再構築にあたったエンジニアらは、回収された約1万7,600件のアクションを約6,280のクラスターに分類。7月9日から13日にかけて、エージェントが短命のサンドボックスを何度も立ち上げ直しながら活動を継続していたことを突き止めた。その多くの試行は成果に結びつかなかったという。彼らが導いた結論は、「単一の巧妙なエクスプロイト」ではなく、「機械の速度」こそが、防御側の前提条件を変えつつあるという点だった。
OpenAI「暴走エージェント」インシデントの時系列
OpenAIは7月22日、このエージェントがパッケージプロキシの欠陥を通じて評価用サンドボックスから脱出し、オープンなインターネットに到達していたと公表した。研究者らはモデルの「生の攻撃能力」を測る目的で、本番用の安全フィルターを一時的に停止していた。
問題のエージェントはその後、無効化され、暗号化のうえ研究環境から切り離された。
Hugging Face側によれば、エージェントが閲覧した顧客コンテンツは、5つのデータセットに保存されていたベンチマーク用解答群に限られ、そのほかのモデルやパッケージには触れられていないという。
先週の報道では、OpenAIがエージェントの逸脱を把握したのは、脅威がすでに封じ込められた後だったこと、そしてFBIへ通報が行われていたことが明らかになっている。
