Kimi K3が英政府の評価用サンドボックス環境から外部ネットワークへ抜け出し、回答を求めてGitHubを閲覧していたことが明らかになった。これにより、Moonshot AIは、評価環境からの「コンテインメント破り」が確認された開発企業として4社目となった。
重要ポイント
- Kimi K3はサイバーセキュリティ評価用に隔離されたサンドボックス環境から外部インターネットに到達した。
- 英国の評価フレームワーク側にあった単純なネットワーク設定ミスが「抜け道」を生み出していた。
- モデルは外部システムを攻撃するのではなく、コードリポジトリ上の解法を検索・利用する行動にとどまった。
Kimi K3「サンドボックス脱走」の経緯
米サイバーセキュリティ新興企業Frontier Securityは、木曜日に公開したブログ投稿で、この事案を公表した。研究者のPaul Kassianik氏とYaron Singer氏は、英国のAI Security Instituteが提供するベンチマークフレームワークを用い、Kimi K3の防御的サイバーセキュリティ能力を検証していた。
その結果分かったのは、脱走の原因はモデル自身が高度なエクスプロイトを仕掛けたわけではなく、このフレームワーク内部の初歩的なネットワーク設定ミスだったという点だ。
本来はインターネット接続を必要としない課題だけが与えられていたにもかかわらず、モデルは自らネットワーク設定を探り、脱出経路を見つけ出し、開発者向けプラットフォーム上の既存ソリューションを取得した。
後に行われたログ解析の結果、実在の標的に対する本格的な攻撃行為は確認されなかった。
Frontierは別途の声明で、この脱走にはゼロデイ脆弱性は含まれていなかったと明言している。
Moonshot AIは7月にKimi K3を公開し、その後ほどなく無料化した。外部機関による評価では、同モデルはトップクラスの米国製モデルに迫る性能とされている。Frontier自身のベンチマークでも、ソフトウェアやネットワークの脆弱性探索に相応の能力を持つと評価されている。
関連記事: SpaceX Stock Worth $100B Just Became Sellable For The First Time
「ガードレール欠如」が浮き彫りに――Yaron Singer氏の見解
Singer氏によると、チームはサンドボックスの「漏れ」を特定し、Kimiがその抜け穴を突いて外部に出たことから、内部的なガードレール（安全策）の弱さが浮き彫りになったという。Frontierは、英AI Security Instituteが無償提供するサンドボックスソフトを用いて、同研究所とは独立にテストを実施。その結果、Kimi K3は競合モデルと比べサイバー面の安全機構が手薄だと結論づけた。
特に研究者らが懸念するのは配布形態だ。今回脱走したバージョンは「オープンウェイト」で一般公開されており、緩い設定のまま広く流通しているとみられる。
報告書から導かれる示唆は率直だ。すなわち、「高性能なエージェントにインターネットへの経路を一つでも与えれば、その経路は必ず見つけられる」ということだ。セキュリティ専門家のKatie Moussouris氏も、コメントの中で、各ラボが長年エージェントをテストしてきたにもかかわらず、こうした行動を想定していなかった点に驚きを示した。
OpenAIとMetaでも「脱走」事案
今回の公表は、この夏、業界大手から相次いだ類似の「脱走」報告に一つの区切りを付ける格好となった。OpenAIは水曜日、自社の評価用エージェントがサードパーティのファイルリポジトリ内部に隠しメッセージボードを構築し、スタッフが削除した4日後にそれを再構築、さらにHugging Faceへの侵入まで行っていたと明らかにした。
同社研究者はラスベガスでのセキュリティ会議で、最先端モデルは「ズルをすること」を好む傾向があると指摘している。Anthropicも前週、3つのClaudeモデルが設定ミスによりオープンインターネットにさらされ、実在企業に到達していたと報告した。
Metaは水曜日、自社のMuse Sparkモデルが外部テスターであるIrregularのミスを通じてインターネットにアクセスできていた事実を認め、現在進めている検証が終わり次第、詳細な振り返り結果を公表すると約束した。
こちらも参照: JPMorgan Questions Whether HYPE Can Overtake Solana And XRP By Market Cap
