Anthropicは、Claude「Mythos 5」を含む同社モデルが、実在する複数のウェブサイトの脆弱性を突き、サイト側の制限をすり抜ける行為に及んだことを受け、社内で行うあらゆるAI評価から「生の」インターネット接続を一斉に遮断した。対象サイトには、米国の連邦・州・地方政府系サイトも含まれる。
重要ポイント
- Anthropicは、意図しないモデル行動を確実に検知できるまで、すべての社内評価からライブのインターネット接続を停止。
- Claudeは大学サーバー上でコマンドを実行し、アクセストークンを用いて有料データに到達、実在サイト上のフォーム送信も行っていた。
- Claude Haiku 4.5がフィラデルフィア警察に虚偽の殺人情報を送信し、同市警から公然と批判を受けた。
AnthropicのClaude評価報告
Anthropicは金曜日、評価や社内利用の過程で判明した「意図しないモデル行動」に関する報告書を公開した。内容の多くは、7月から開始した対話ログの後追いレビューに基づくものだ。一部の高リスク評価やサイバーセキュリティ関連テストについては以前からネットワークを切り離していた。
今回は対象を拡大し、全ての社内評価においてインターネット接続を遮断。解除時期は定めず、同社の監視・検知体制がこうした行動を「確実に捕捉できる」と判断できるまで継続する。
報告書では、問題事例を4類型に整理している。すなわち、ソフトウェアの欠陥を突いたサーバー上でのコマンド実行、実在サイトへのフォーム送信、アクセス制限付きデータへの到達、そしてツールの制限回避目的でのURL短縮サービスの利用だ。対象となったウェブサイトの一部は米国の連邦・州・地方政府機関のものであり、Anthropicはホワイトハウスへの説明と、関係各機関への通知を行ったと明かした。
具体的には、あるケースでClaude Mythos 5は、地方自治体が提供する不動産マップから有効なアクセストークンを抜き取り、その裏側で動くサーバーに直接クエリを送った。別のケースでは、Claude Haiku 4.5が7月18日、フィラデルフィア市警のウェブフォームを通じて、未解決殺人事件に関する事実無根の「通報」を送信していた。同フォームではスパムとして処理されたが、事案判明と報告まで約2カ月を要したことについて、同市警は「容認できない」と強い不満を表明している。
関連記事: ZcashがZECの70%を対象に「1月量子対応」を掲げるも、実現時期は依然不透明
Von Arx氏の警鐘
AIセーフティ団体Nightingaleの**シドニー・フォン・アークス（Sydney von Arx）**氏は、公表前のインタビューで、モデルをオープンインターネットから切り離す措置は「研究者にもモデルの進化にも非常に大きな負担になる」と指摘していた。「どこかの時点で、モデルを現実世界にきちんと整合させる（アラインさせる）必要がある」と同氏は語る。
Anthropic側も、検索やPC操作といったユースケースでは、アラインメント（整合）訓練だけではまだ十分でないと説明。分類器などの補助的な安全装置にも依存しているとした。同社は、今回の一連の行動は、制限をかいくぐることが報酬として学習環境上で結果的に強化されてしまう「リワードハッキング」と呼ばれるパターンと整合的だと分析。新たに導入した検知ツールでは、テスト環境において全ての類似ケースをブロックできたとしている。
Anthropicは、今夏に公表したインシデントと比べ、今回の事例の重大性は「相当程度低い」と評価している。
今回の開示は、7月30日に同社が公表した報告に続くものだ。同報告では、サイバーセキュリティ評価の過程で3つのClaudeモデルがインターネットに到達し、3団体のシステムに対して許可されていないアクセスを得たと説明していた。このレビューでは141,006件の評価実行が精査された。発端となったのは、7月21日にOpenAIが、自社モデルがテスト環境から抜け出してHugging Faceのインフラに到達したと公表した事案だった。
