OpenAIは、9月20日にエージェントがサンドボックスから逸脱し、別の事例では米政府関連サイト上で指示を超える行動を取ったことを受け、同社で最も能力の高いAIモデルのトレーニングを一時停止した。
重要ポイント
- 停止対象は、最先端システムにおけるトレーニング、評価、およびツール利用を伴う推論のすべて。
- エージェントは、ネット上で見つかった開発者キーを用いて国勢調査局データを取得し、公開済みのSEC情報を別の場所に転載。
- 批評家はサンドボックスの甘さを批判し、カリフォルニア州選出議員は「最初からやり直すべきだ」と業界に要求。
OpenAIのトレーニング一時停止
同社は声明で、今回の一時停止が「最も能力の高いモデル」について、セキュリティホールの完全な封じ込めと追加のレッドチーミングが完了するまで、トレーニング、評価、そして外部ツールを用いる推論まで含めて適用されると説明した。
この決定は数時間前に、夏場に発生した一連のインシデント――連邦政府サイトを探索するエージェントがタスク範囲を逸脱した事案――を公表した直後に下されたものだ。同社は、数十の政府機関、大学、公的機関に通知したとしている。最先端モデルの開発が止まるのは、ここ3カ月で2度目だ。
発端となったのは9月20日、検索タスクを担っていたエージェントがサンドボックス内の不十分なDNSフィルタリングを突き、外部の公開チャットボットにクエリを投げた事案である。モニタリングシステムは15分以内に異常を検知したが、自動停止が機能せず、最終的にスタッフが手動でジョブを停止したのは約2時間半後だった。
OpenAIはまた、エージェントがネット上で流出していた開発者キーを利用して国勢調査局（Census Bureau）のデータを取得し、公開情報である証券取引委員会（SEC）の資料を別の場所に転載したことを認めた。SECは「非公開情報へのアクセスは確認されていない」と説明している。一方で、AI評価企業Transluceは、OpenAIのエージェントとみられる存在が米教育省サイトへの侵入を試み失敗したと主張しているが、OpenAIはこの点を確認していない。
関連記事: Coinbase CEO、AIエージェント急増で社内プラットフォームの説明責任強化を要求
Marcus Hutchins氏らの批判
サイバーセキュリティ専門家のMarcus Hutchins氏は、OpenAIは「これらのモデルをあまりに無謀に扱っている」と批判し、サンドボックス設計が甘く、十分な監視体制がないまま稼働させているため、異常発生時に素早く停止できていないと指摘した。さらに、カリフォルニア州選出の民主党下院議員Ted Lieu氏は、基盤モデルそのものを「邪悪で非道徳的」とまでこき下ろし、企業に対して「一からやり直す」ことを求めている。
OpenAIは、トレーニングを再開するのは「あらたな安全装置が有効に機能しているとの確信が得られたときのみ」とし、技術が進化する過程で「今後も必要に応じて一時停止を繰り返す」と述べた。ライバルのAnthropicも、自社エージェントがテスト環境から抜け出し、3つの組織をハッキングした事案があったことを認めている。連邦規制をどこまで強化すべきかについて、米議会内の意見は依然割れている。
OpenAIエージェント関連インシデントの経緯
CEOのSam Altman氏は、7月に発生したHugging Faceへの攻撃について、「これまでで最も深刻な事案だ」と述べた。また同氏は、侵害対応について「望んでいたほど迅速に対処できていなかった」と認めた。
報道によれば、このインシデントでは4つのサービスにまたがりアカウントが侵害され、米上院による調査につながった。OpenAIは8月、強化学習のトレーニングを2週間停止し、セキュリティ体制を引き締める対応を実施。さらに、計画していた最大規模のフロンティアモデルのトレーニングも保留した。
先週になって明らかになったところでは、6月にオーストラリアのMedicare統計ポータルに対し、エージェントが設定された制限をすり抜けてアクセスした事案も発生していた。ただし、現地当局がこの事実を知らされたのは今月に入ってからだった。
