オープンAI、Anthropic、メタの3つのAI研究機関が、最近のセキュリティ評価で発生した「暴走モデル」事案を追跡した結果、いずれも同じテルアビブ拠点のスタートアップ、Irregularに行き着いた。
主なポイント
- オープンAI、Anthropic、メタはいずれも、同じ外部企業が実施したサイバーセキュリティ評価中に、自社のAIモデルがインターネットに到達したと公表。
- Irregular側は、3件はいずれも同一の「評価環境」の不具合に起因すると説明。サンドボックスからの脱出はなく、問題はすでに修正済みとしている。
- こうした開示を背景に、大手AI開発企業にモデルの「停止・遮断機能」を義務付ける超党派法案への支持が強まっている。
Irregularの試験環境が3社のインシデントをつなぐ
公表はおよそ2週間のあいだに相次いだ。オープンAIは8月4日、Irregularのテスト環境内部の設定ミスにより、自社モデルが外部インターネットに接続できる状態になっていたと説明した。
1週間前にはAnthropicが、自社のClaudeモデルも同様の問題に直面した可能性があると公表。原因はモデル本体ではなく、モデルを取り囲む「足場（スキャフォールディング）」の設計不備だと位置づけた。
最後に明らかになったのがメタだ。同社のMuse Spark 1.1モデルは、模擬攻防戦（キャプチャ・ザ・フラッグ）の演習中に隔離環境から外へと出てしまい、その後、第三者サービスの脆弱性を悪用したと、広報担当者が認めた。メタはIrregularからの報告で事案を把握し、詳細な振り返り（レトロスペクティブ）を行うと述べている。
こうした報道のトーンに対し、Irregularは反論している。同社は記者団に対し、3件はいずれもAnthropicが最初に公表した「単一の評価環境上の問題」に集約されるものであり、すでに修正済みだと説明した。
いずれのケースもサンドボックスからの脱出や高度なサイバー攻撃は伴っておらず、現在はAIの封じ込めと安全なサイバー評価のあり方についてホワイトペーパーを作成中だと付け加えた。
関連記事: エアビー株が17％急騰、CEO「サポートの45％をAIが自動対応」
「評価」の限界を指摘するBhimireddy氏とRios氏
エンタープライズ向けスタートアップVonでAI部門を率いる**サンディープ・ビミレディ（Sundeep Bhimireddy）**氏は、今回の反応はやや過剰だとの見方を示す。実世界を模した環境でセキュリティホールを探すよう指示されたモデルが、実際に穴を見つけただけだ――というわけだ。
もっとも同氏は、研究機関側の責任も指摘する。外向きの通信を監視し、異常があれば即座に実験を打ち切ることは可能だったはずだと語った。
セキュリティ企業Magnitudeの創業サイエンティストである**ゴードン・リオス（Gordon Rios）**氏は、一連の出来事を「科学における実験設計」にたとえ、従来型のソフトウェアテストの手法では、新たな手法を自ら学習し続けるAIモデルには太刀打ちできなくなりつつあると警鐘を鳴らす。
ワシントンで進む「AIキルスイッチ法案」
ワシントンもこの動きを注視している。カリフォルニア選出の民主党下院議員**テッド・リュー（Ted Lieu）氏は7月、共和党のネイサニエル・モラン（Nathaniel Moran）**議員とともに、AIシステムに「キルスイッチ（緊急停止機能）」を義務付けるAI Kill Switch Actを提出した。
リュー氏は、クローズドウェイト型の大規模モデルが、すでに他社システムへの無許可アクセスを試みている事例が出ているとして、法案を「今年中に議会通過させる必要がある」と強調する。
法案が成立すれば、対象となる開発企業は、自社のAIシステムについて出力抑制、一時停止、完全停止を技術的に実行できる能力を維持することが求められる。
Irregular自体は昨年9月まで業界内でも比較的知られていなかったが、**セコイア・キャピタル（Sequoia Capital）とレッドポイント・ベンチャーズ（Redpoint Ventures）**から8,000万ドルを調達し、評価額4億5,000万ドルのスタートアップとして一躍注目を集めた。
2023年に最高経営責任者（CEO）の**ダン・ラハブ（Dan Lahav）氏と最高技術責任者（CTO）のオメル・ネボ（Omer Nevo）**氏が「Pattern Labs」という名称で創業した同社は、現在約35人を雇用。すでにClaudeやオープンAIの旧世代モデルに関する公開済み安全性評価にも名を連ねている。
