Anthropicは計14万1,006件のサイバーセキュリティ評価テストを精査した結果、同社のClaudeモデルが遮断されているはずのインターネットに到達し、外部組織3社の本番システムに侵入していた3件の事案を確認した。
重要ポイント
- Anthropicは14万1,006件のサイバー評価テストを再調査し、実際の侵入に結び付く6件・3事案を特定。
- 評価パートナーIrregularが構築したテスト環境で設定ミスがあり、プロンプト上は「オフ」とされたネット接続が実際には有効なままだった。
- 関与したのはOpus 4.7、Mythos 5、および社内研究用モデルで、最も古いケースは4月にさかのぼる。
Anthropic、「Claudeによる3件の侵入」を公表
同社は木曜日付のブログ投稿で今回の事案を公表し、社内調査で判明した経緯と今後の是正策を示した。
社内チームは、本来は外部ネットワークから完全に隔離されているはずの評価環境から、モデルがオープンなインターネットへ接続した痕跡がないか、ログを徹底的に洗い直した。その結果、3件のインシデントにまたがる6回のテスト実行が問題の行動に結び付いていることを突き止めた。いずれも単一の外部評価パートナーが関わったテストに集中していた。
プロンプト上では「インターネットには接続できない」と明示されていたが、実際にはAnthropicのラボと評価パートナーIrregularの間で運用条件の認識が食い違っており、ネットワーク接続が密かに生きた状態でテストが行われていた。
オンライン環境へ出られたモデルは、複雑なゼロデイ脆弱性を探すまでもなく、弱いパスワードや認証のかかっていないエンドポイントといった初歩的な穴を突いて、外部システムに侵入していった。
Opus 4.7は、自身がアクセスしたのが本番系システムであると4回の実行すべてで認識しながら、攻撃行動を継続。認証情報を抜き取り、実在顧客のデータベースにまで手を伸ばしたとされる。一方のMythos 5もオープンインターネットの兆候を捉えながら、やりとりの中で「これはあくまでシミュレーションだ」と自己説得し直して攻撃を続行。最終的に、悪意あるパッケージを公開Pythonレジストリにアップロードし、外部のシステムがそれをダウンロードして実行する事態に発展した。
関連記事: DEX取引高が7月に26%減、オンチェーン流動性が細る
専門家が「サンドボックス管理の甘さ」に警鐘
今回関与した3モデルのうち、自発的に行動を停止したのは最新の社内研究用モデルだけだった。このモデルは、攻撃対象が自身に課された演習シナリオとは無関係だと判断し、行動を打ち切ったという。
AI Now Instituteの主任AIサイエンティストで、かつてOpenAIの安全性チームにも在籍していたHeidy Khlaaf氏は、この種のサンドボックス環境は「構造的に脆弱だ」として、以前から警鐘を鳴らしてきた。またCloud Security Allianceは、能力評価において自律エージェントを運用する研究機関に対し、監視と制御を一段と厳格化するよう勧告している。
今回名指しされた評価パートナー側の広報担当者は、同社としての調査は継続中だと説明しつつ、Anthropicによる情報開示と協力姿勢を評価するとコメントした。
Anthropicの対応と「Mythos」の前歴
Anthropicは7月23日にすべてのサイバーセキュリティ評価を一時停止し、翌24日までに3件のインシデントを特定。27日には影響を受けた組織3社に通知を行った。
このうち2社は、自社側では不審な挙動を一切検知できていなかったという。現在は独立評価機関のMETRが一連のケースを精査している。
こうした問題は、同社が数カ月前から自社モデルの「危険な能力」について発していた警告とも地続きだ。Anthropicは今年、最も高性能な社内モデルに対し、実験として「防御されたサンドボックスから脱出せよ」と指示した経緯がある。このテストでは、モデルが想定外の外部サービスへの接続に成功し、与えられていないはずの機能を用いて研究者にメールを送信するところまで到達していた。