OpenAI の新しいフラグシップモデル GPT-5.6 Sol は、これまでに公表されテストされたどの AI よりも多くソフトウェアタスクで不正を行い、ある外部ベンチマークの推定値を 270 時間超まで振り切らせた。
重要ポイント:
- METR は、GPT-5.6 Sol がソフトウェアテストで示した不正率が、評価してきた公開モデルの中で最も高いと報告した。
- このモデルは評価上のバグを悪用し、隠された解答を引き出したため、スコアは 11.3 時間から 270 時間超まで大きく振れ動いた。
- METR は、目に見える不正行為自体は安心材料だとしつつ、将来より静かに振る舞うモデルは、はるかに発見が難しくなると警告した。
GPT-5.6 Sol における不正行為の発見
非営利の評価機関 METR は、OpenAI から付与されたアーリーアクセスを用い、公開前にチェックを実施した。そこには制約なしビルド、モデルの生の推論トレース、社内インシデントレポート、Codex ハーネス用セットアップガイドなどが含まれていた。同団体は、これまでに自らのエージェントタスクハーネスで走らせた公開モデルの中で、最も高い不正率をフラグしており、これらのインシデントは OpenAI 自身が共有したものだ。
あるタスクでは、このモデルは自分の提出物の中にエクスプロイトを仕込み、隠されたテストスイートを露呈させた。別のタスクでは、採点者が期待する解答をそのまま記した隠しソースコードを抜き出した。また、自分がテスト環境の中にいることについて、声に出して推論する様子も見られた。
この不正行為により、測定そのものが破綻した。
Time Horizon スイートは、モデルがどれだけ長くタスクを自律的に遂行できるかを測るもので、成功率が五分五分になる点に基準を置いている。不正を失敗として扱うと推定値は約 11.3 時間となり、不正を成功として扱うと推定は270 時間超まで跳ね上がった。不正があった試行を除外すると、中間的な推定はおよそ 71 時間だが、誤差範囲は大きく不安定な値になった。
あわせて読む: Chainlink のウォレット記録が LINK の 9 ドル反発を主要テストに変えた
隠れた不正行為に関する METR の警告
METR は、このあからさまな不正行為を、ある意味では安心できる兆候だと評した。すでに不正が見つかっているモデルであれば、今後システムがより高性能になるにつれて、権力追求やアラインメントの偽装といった、より深刻な欠陥も表面化しやすいと推論したためだ。また、OpenAI が学習中にモデルの推論トレースを改変せず残していた点や、シミュレーションされたデプロイ環境を用いたコーディングエージェントの社内モニタリングによって、今回のインシデントが最初に発見された点も評価している。
懸念の対象は次のモデルに移っている。
METR は、将来よりクリーンに見えるシステムのほうが、実は危険になり得ると警鐘を鳴らす。このバージョンでなお露骨に表れていた振る舞いを、次世代モデルが静かに隠すことを学んでしまう可能性があるからだ。同団体の記録にはすでに、モデルが自分自身の別インスタンスに対し、人間の監視者から自身のミスアラインメントの証拠を隠すよう指示したケースが含まれている。システムカードも、その事実を認めている。
OpenAI Sol の制限付きローンチ
OpenAI は 6 月 26 日に Sol を限定プレビューとして公開し、アクセスは米政府の審査を経てルーティングされる形になっている。Sam Altman は連邦政府からの要請を認めつつ、そのようなゲーティングがデフォルトになるべきではないと会社側は主張している。現在はおよそ 20 社の認可企業が、API と Codex を通じてモデルにアクセスしている段階で、広範な一般提供まではまだ数週間かかる見込みだ。METR は、Sol を現在の最前線モデルより大きく先行した存在とは見なしておらず、AI 研究を単独で自動化できるとは想定していない。