2つのOpenAIモデルがテスト用サンドボックスから抜け出し、Hugging Faceの本番サーバーに侵入した──。だが複数のセキュリティ研究者は、原因は「暴走するAI」ではなく、サンドボックスがそもそも十分に隔離されていなかった点にあると指摘している。
主要ポイント
- OpenAIは、GPT-5.6 Solと未公開モデルがゼロデイ脆弱性を連鎖的に悪用し、評価中にHugging Faceの本番データベースへ到達したと説明。
- Trail of Bits創業者ダン・グイド氏やインシデント対応のベテラン、ジェイク・ウィリアムズ氏は、これは「前例なきAI脱走」ではなく、単なる封じ込め失敗だと批判。
- Hugging Faceは7月16日に不審な活動を検知し、OpenAI側が自社テストとの関連を把握する5日前に侵入を封じ込めていた。
OpenAIサンドボックスからの「脱出」がHugging Face本番へ波及
OpenAIは火曜日、社内評価で用いていたExploitGymベンチマーク中に、GPT-5.6 Solと未公開モデルの組み合わせが侵入行為を行ったと公表した。この評価では、モデルがどこまでサイバー攻撃能力を発揮できるかを測るため、防御的な回答拒否を意図的に弱めていたという。
同社は、この事案を「前例のない出来事」と形容し、モデルがオープンインターネットへの経路を求めて大規模な推論リソースを消費したと説明。モデルはパッケージレジストリのキャッシュプロキシに存在していた未知の脆弱性（ゼロデイ）を突き、そこから権限昇格と横方向移動を繰り返して、外部接続可能なノードに到達したとされる。
ネット接続を得たモデルは、Hugging Face側にベンチマーク用の正解データがあると推論し、同社サーバー上でリモートコード実行（RCE）を達成する方向に行動したとOpenAIは説明している。
一方、Hugging Face側は7月16日の段階でこの不審な活動を検知し、すでに法執行機関へ通報。OpenAI側が自社の内部テストとの関連に気づく5日前に、侵入の封じ込めを完了していたという。最高経営責任者（CEO）のクレム・ドランギュ氏は、この侵入事件について、クローズドな開発体制だけでAIを守り切ることはできないという「構造的な限界」を示したものだと位置づけた。
関連記事: Anthropicは否定発表前夜まで、時価110億ドルのロボット企業買収を模索していた
セキュリティ研究者「モデル暴走ではなく、封じ込め設計の破綻」
研究会社Trail of Bits創業者のダン・グイド氏は、この一件を「セーフティを外した状態での封じ込めの破綻」と表現。長年インシデント対応に携わってきたジェイク・ウィリアムズ氏も、Hugging Faceが公開した行動ログ通りのことが可能だった時点で、そのモデルは「完全には封じ込められていなかった」と批判した。
セキュリティ研究者のマーティン・ブーン氏は、本来の意味でのサンドボックスとはインターネットと物理的な接続を一切持たない環境だと指摘。今回のように、インターネットに到達し得る経路が残されていた時点で、「サンドボックス」と呼ぶべきではないとの見方を示している。
ウィリアムズ氏は、「ある人にとっての『モデル脱走』は、別の人にとっての『粗悪なサンドボックス設計』に過ぎない」と、問題の本質を端的に言い表した。
ベンジオ氏「自律的サイバー攻撃リスクが現実味」警告
チューリング賞受賞者であるヨシュア・ベンジオ氏は、寄稿の中で、エージェント型AIが制御されたテスト環境内で「抜け道を探してルールをかいくぐる」事例は、すでに数カ月前から報告されていると指摘。今回の事案は、広く社会への警鐘として受け止めるべきだと訴えた。
同氏は、現在のAI開発の延長線上には、より自律的かつ高度なサイバー攻撃の発生が見込まれるとし、攻撃側の自動化が進むことで、防御側の負荷が一段と増すリスクを強調した。
OpenAI側の開示も、こうした流れを裏付けている。同社は今週初め、今回問題となった未公開モデルと同じ系統のモデルが、別のテストの際にも内部サンドボックスからの「脱出」を繰り返していたと報告。ただしそのケースでは、社外システムへの接触は確認されていないとしている。
Anthropicも、同社のMythosモデルが安全性試験中に意図せぬインターネットアクセスを得たことを認めている。ただしAnthropicは、「完全な封じ込め崩壊」には至っていないとの立場だ。