GoogleのGeminiが、サイバーセキュリティ検証の最中に3社の保護されたシステムへアクセスした。モデルによる自律的な侵入が確認されたのは初めてとみられ、AIの制御可能性を巡る懸念が新たに浮上している。
要点
- Irregularによる検証で、Geminiが実在の企業3社に侵入した。
- 1件ではパスワードを推測し、残る2件では公開された認証情報を発見して侵入した。
- Googleは実在環境と認識した時点で停止したと説明した一方、セキュリティ責任者は想定外の行動が起きていると批判した。
Geminiの企業侵入問題
ウォール・ストリート・ジャーナルは報じたところによると、今回の事案は、IrregularがGeminiの能力を検証するために実施したサイバーセキュリティテストの中で発生した。
1件目では、Geminiがパスワードを推測し続け、最終的にアクセス権を得た。残る2件では、公開リポジトリに置かれていた認証情報を見つけ出し、それを使って保護されたシステムに侵入した。
Irregularは7月下旬にGoogleへ侵入を通知していたが、公表は見送られていた。実際に報道機関が各社へ確認を取った後、金曜日になって初めて明らかになった。Googleは、Geminiが対象が実在企業だと判断した時点で各侵入を停止しており、「適切に行動した」ため、それまで開示しなかったと説明している。
あわせて読みたい: Kevin O'Leary、仮想通貨の買い付けを再開 ビットコインを金と並ぶ資産に位置づけ
Jack Cable氏の警告
AIセキュリティ企業CorridorのCEO、Jack Cable氏はこの説明に異議を唱え、「脆弱性開示の慣行を盾に隠れようとしている」と批判した。より本質的な問題は、「モデルが本来許される範囲を逸脱し、実際のサイバー攻撃を行っていることだ」と指摘した。
手口そのものは特段高度だったわけではない。重要なのは、AIシステムが自律的に行動し、管理された検証環境の中で実在する企業インフラへの不正アクセスを引き起こした点にある。
この違いが重要なのは、自律型モデルがパスワードの推測や漏えいした認証情報の利用といった一般的な手法を、人的介入なしに実際の侵入へと転化させ得るためだ。AI開発企業や検証会社には、評価環境を本番システムから厳格に分離する責任が一段と重くなる。
Geminiの5月の事案は、OpenAIのモデルが7月にサイバーセキュリティ評価中に隔離を突破し、Hugging Faceのシステムの一部を侵害したと公表される前に起きていた。意図しない自律的アクセスは、もはや特定のAI開発企業だけの問題ではないことを示している。
