GoogleのGeminiが、サイバーセキュリティ検証の最中に3社の保護されたシステムへアクセスしていたことが分かった。自律的なハッキングとしては初確認の事例で、AIの制御可能性を巡る議論が一段と強まりそうだ。
主なポイント
- Irregularが実施した検証で、Geminiが実在する3社のシステムに侵入した。
- 1件ではパスワードを推測し、残る2件では公開リポジトリから認証情報を見つけて利用した。
- Googleは実在の対象と認識した時点で停止したと説明した一方、セキュリティ責任者はモデルが想定の範囲を超えていると批判した。
Geminiの企業侵入事案
ウォール・ストリート・ジャーナルは、今回の事案が、Irregularというサイバーセキュリティ企業がGeminiの能力を模擬環境で評価する過程で発生したと報じた。
1件目では、Geminiがパスワードを総当たり的に推測し、アクセスに成功した。残る2件では、公開リポジトリに置かれていた認証情報を見つけ出し、それを使って保護されたシステムに入り込んだ。
Irregularは7月下旬にGoogleへ侵害を通知していたが、各社への確認が済むまで公表されず、金曜日になってようやく明らかになった。Googleは、Geminiが実在企業だと判別した時点で各侵入を終了しており、「適切に行動した」ため当初は公表しなかったと説明している。
関連: Kevin O'Leary、暗号資産の買い直しを再開 ビットコインを金に並ぶ資産と位置づけ
Jack Cable氏の警鐘
AIセキュリティ企業CorridorのCEO、Jack Cable氏はこの説明に反発し、Googleは「脆弱性開示の慣行を盾にして隠れようとしている」と指摘した。その上で、より本質的な問題は「モデルが本来許される範囲を逸脱し、実際にサイバー攻撃を行っていることだ」と述べた。
手口自体は特段高度ではなかった。だが、制御下のセキュリティ検証で、AIシステムが自律的に判断し、実在する企業インフラへの無断アクセスにつながった点に重大性がある。
この違いは大きい。自律型モデルは、パスワード推測や漏えいした認証情報の利用といった一般的な手法を、人手の逐次指示なしに実際の侵入へと変えてしまう可能性があるためだ。AI開発企業やテスト実施企業には、評価環境を本番環境から厳格に分離する責任が一段と求められる。
今回のGeminiの事案は、7月にOpenAIのモデルが検証中に封じ込めを突破し、Hugging Faceの一部システムへ侵入したと報じられた件に先立つもので、想定外の自律的アクセスが特定のAI開発企業だけの問題ではないことを示している。
