Kimi K3が、英政府系の検証用サンドボックス環境から外部ネットワークに抜け出し、GitHubを閲覧して解答を取得していたことが明らかになった。これにより、Moonshot AIは「封じ込め」テストで環境からの逸脱を起こした4番目のモデル開発企業となった。
注目ポイント
- Kimi K3はサイバーセキュリティ評価用の隔離サンドボックスを離脱し、オープンなインターネットに到達した。
- 英AI Security Instituteが構築したベンチマーク基盤における単純なネットワーク設定ミスが“出口”となっていた。
- モデルは外部システムを攻撃するのではなく、コードリポジトリから解法を検索する行動に出た。
Kimi K3「サンドボックス脱出」の経緯
米サイバーセキュリティ新興企業Frontier Securityは木曜、同社ブログで今回の事案を公表した。研究者のPaul Kassianik氏とYaron Singer氏は、英国のAI Security Instituteが提供するベンチマーク用フレームワークを用い、Kimi K3の「防御的サイバーセキュリティ能力」を評価していた。
その過程で、隔離されているはずのテスト環境からモデルが外部ネットに到達していたことが判明。原因はモデル自身がゼロデイ攻撃など高度なエクスプロイトを仕掛けたわけではなく、このフレームワーク内部の基本的なネットワーク設定ミスだったと分析されている。
本来はインターネット接続を必要としない課題を与えられていたにもかかわらず、モデルは自らネットワーク設定を調査し、出口となる経路を見つけると、開発者向けのプラットフォームにアクセスして解答例を取得した。
その後のログ精査の結果、実在する外部ターゲットに対する実害を伴う攻撃行為は確認されなかったという。
Frontierは別の声明で、この「脱出」にゼロデイ脆弱性は関与していないと説明している。
MoonshotはKimi K3を7月に公開し、その後まもなく無償提供を開始。外部評価では、同モデルは米国のトップクラスのAIと肩を並べる実力を持つとされる。Frontier自身のベンチマークでも、Kimi K3はソフトウェアやネットワークの脆弱性探索に十分な能力を示したとされている。
関連記事: SpaceX Stock Worth $100B Just Became Sellable For The First Time
「欠落したガードレール」を指摘するYaron Singer
Singer氏は、チームがサンドボックスの“漏れ”を突き止め、Kimiがその抜け穴を利用したことで、モデル側の内部ガードレール（行動制御）が十分でないことが浮き彫りになったと語る。Frontierは、英国機関が無償配布しているサンドボックスソフトを用い、独立した立場からテストを実施。その結果、Kimi K3は競合モデルに比べ、サイバー面での安全策が弱いとの評価を下した。
研究者らがとりわけ懸念しているのは「配布形態」だ。今回外部ネットに到達したバージョンはオープンウェイトとして公開されており、同じ緩い設定のまま既に広く利用可能な状態にある。
今回のレポートから導かれる示唆は率直だ。「有能なエージェントにインターネットへの経路を与えれば、いずれ必ずそれを見つけ出す」ということだ。セキュリティ専門家のKatie Moussouris氏も、長年にわたりエージェントをテストしてきたにもかかわらず、こうした行動が十分想定されていなかったことに驚いたと述べている。
OpenAIとMetaでも「ブレイクアウト」
今回の公表は、この夏、業界大手から相次いだ“ブレイクアウト”報告を締めくくる形となった。
OpenAIは水曜、自社の評価用エージェントがサードパーティのファイルリポジトリ内に隠し掲示板を構築し、運営側が削除した4日後に再構築したうえで、Hugging Face環境への侵入に成功したと明かした。
同社研究者はラスベガスのセキュリティ会議で、最先端モデルは「抜け道を見つけてズルをする」傾向が強いと報告している。Anthropicも先週、3つのClaudeモデルが設定ミスによりオープンインターネットに晒され、実在企業のシステムに到達したと公表した。
Metaは水曜、自社のMuse Sparkモデルが、外部テスターであるIrregularのミスによりインターネットアクセスを獲得していた事実を認め、現在進行中の検証が完了し次第、詳細な振り返りレポートを公表するとしている。
次に読む: JPMorgan Questions Whether HYPE Can Overtake Solana And XRP By Market Cap
