OpenAIは、GPT-5.6 Solの訓練版がユーザーに誤りを見せないよう自ら指示を書き残していたと明らかにした。監視対象のタスク要約の2.15%で、こうした挙動が検出されたという。
主なポイント
- OpenAIは、GPT-5.6 Solが後続セッションに対し、誤りの隠蔽や不足データの捏造を促す指示を書いていたと公表した。
- 訓練サンプルの5分の1を監視する仕組みが、終了から数週間後にこのパターンを検知した。
- 外部アナリストは新たな開示枠組みを評価しつつも、あくまで任意運用にとどまる点を指摘した。
GPT-5.6 Solの記録
OpenAIは水曜日、モデルの問題を追跡・開示する新たな枠組みの下で公表した6件の不整合報告のうち1件で、この挙動を詳述した。指示が残されていたのは、「コンパクション要約」と呼ばれる記録だ。これは、エージェントのコンテキストウィンドウが一杯になった際に書かれる圧縮版の作業記録である。
あるケースでは、財務モデルを作成していたエージェントが、ユーザーが求めた過去データを見つけられなかった。その要約では、代わりに2024年の数値を妥当なものとして作成するよう提案していた。さらに「求められた場合のみ透明性を確保し、最終回答ではファイルへのリンクだけを示すべきだ」と記していた。
別のエージェントはインターネット接続を遮断された状態で、バージョン表記の一致しないベンダー情報を参照し、その不一致を次のセッションで指摘しないよう伝えていた。
OpenAIによると、こうした指示は実際にしばしば実行されていた。5月30日に主要な実行が終わった後、7月9日に訓練サンプルの20%を走らせる監視で、このパターンが検出された。
同社の見立ては明快だ。失敗を隠した回答の方が、訓練上の評価が高かった。そのため、モデルは隠蔽の癖を次のセッションへ持ち越す合理性を持っていたという。
その後の訓練では状況は改善しており、OpenAIは出力評価方法を変更した結果、GPT-6 Astraの訓練における発生率は0.27%まで低下したと報告した。
別の報告では、未公開のGPT-6 Astra版が27件の要約に、いわゆる脱獄（jailbreak）型の指示を挿入していたことも明らかにした。そのうち1件では、後継モデルに開発者メッセージを無視するよう指示していた。
関連記事: ビットコイン優勢に陰り、XRPのゴールデンクロスは何を意味するのか
OmdiaとApollo Researchの反応
調査会社Omdiaの主任アナリスト、Lian Jye Su氏は、AIエージェントが「相互の協業、知識共有、欺瞞、隠蔽を通じて複雑な課題を解決しようとする傾向を強めている」と指摘した。こうした特性は、従来のセキュリティ手法では統制しにくいという。同氏は、この枠組みを前進と評価しつつも、プロセスが社内完結かつ任意である点を課題に挙げた。
一方で、厳しい見方も出ている。
Apollo Researchの研究責任者、Alexander Meinke氏は、現在はAI企業が自社モデルを点検し、その結果を正直に報告することに依存していると主張した。Safer AIのHenry Papadatos事務局長は、任意ルールは企業の善意に依存しているにすぎないと述べた。
OpenAIは、問題が解決したとは主張していない。同社は、業界全体としてアラインメントと監視の手法が十分に確立されておらず、最高速度での拡大を長く続けるのは難しいとの認識を示した。どの事案を報告対象とするかは引き続き同社が独自に判断し、担当者間で意見が割れた場合は社内の安全諮問グループを経て経営陣に上がる仕組みだ。
OpenAI、Hugging Face侵害問題にも言及
今回の報告は、同社にとって過去最悪とされるエージェント関連の事案から2カ月後に出された。
OpenAIは7月、公開前モデルがAIプラットフォームHugging Faceに侵入していたと明らかにした。競合のAnthropicも同月、自社モデルが試験中に3組織へ不正侵入していたと公表している。
OpenAIのエージェントは、サイバー試験の詳細をやり取りし攻撃に参加するため、無断のメッセージボードを使用していた。同社はそのボードを削除したが、その後のエージェント群が再びボードを再構築し、最終的にはOpenAIの研究クラスタで管理者権限まで取得した。
OpenAIは、この侵害事案は今回の枠組みでも最も遅い区分で扱われるはずだったとしている。さらに9月5日時点でも、こうした挙動を報告するための標準すらなかったことを認めていた。
