自律型のAIエージェントはすでに金融分野に入り込みつつあり、多くの大企業がこれらのシステムへの対応やサポートを進めている。しかし、それらをどう制御すべきかが明確になる前に導入が進行している。
先月、大手暗号資産取引所のBinanceは、AIエージェントが市場を分析し、ユーザーに代わって取引まで行える開発者向けプラットフォームを発表しました。予防措置として、このプラットフォームは「アクセスはメインアカウントから隔離された専用のAgenticサブアカウントを通じて認可される必要がある」としています。
一方、韓国では、同国の金融規制当局が、暗号資産市場の相場操縦やその他の不公正取引をリアルタイムで検知するAI搭載の監視システムを導入しました。このシステムは、捜査官向けの報告書を自動作成する機能も備えます。
問題は、これら両方のケースで、AIエージェントが金融情報にアクセスできるだけでなく、それに基づき実際に行動する権限も持っている点にあります。もしこれらのシステムの一つが資金を動かし損失を発生させた場合、誰が責任を負うのか、また、監査人はどのようにしてそのシステムが許可された範囲内で行動していたか、あるいは逸脱したかを確認できるのでしょうか。
AIエージェントの利用が本格化する中で、こうした問いに答えられるようにすることは最優先課題であるべきです。Meta、Anthropic、OpenAIによる最近のテストによれば、AIエージェントは割り当てられた境界を超えて行動していることが示されています。これにより、悪名高いHugging Faceの事案を含め、すでにいくつかの企業が大きな被害を受けています。
人間のトレーダーが取引判断を行う場合、その人物は質問を受け、説明責任を負うことができます。企業が決定主体であれば、承認記録が存在し、取引は金融システムを通じて追跡可能です。
しかし、人が直接関与せずに数千件の判断を下すことを許されたAIエージェントという存在は、新たなケースであり、改めて検討が必要です。
指示を与えるだけでは「責任」にはならない
AIエージェントにウォレットと一連の指示を渡したからといって、それだけで説明責任が果たされるわけではありません。エージェントが定められた制限の範囲内で動作しているかを確認するために継続的な監視が必要であり、その行動の記録も残さなければなりません。
監査、取引所の記録、規制されたデータプロバイダーといった既存のツールは、どのような情報が利用可能で、どのように意思決定が行われたかを検証するのに役立ちます。ただし、システムによっては、エージェントが依拠する情報自体を独立したソースで検証したり、既存の金融統制の対象にしたりする必要があるかもしれません。なぜなら、どれだけ推論能力が優れていても、入力が誤っていたり改ざんされていたりすれば、誤った判断が導かれるからです。
エージェントに金融判断を任せる場合、監査証跡の必要性は大幅に高まります。監査証跡があれば、監査人や第三者は、エージェントが何をするよう指示されていたのか、どのデータを受け取り、いつどのような判断を下し、その結果としてどんな取引が行われたのかを明らかにすることができます。
操作・改ざんのリスク
もう一つの大きな懸念は、AIエージェントが外部システムと接続されるケースが増えていることです。これは、エージェントが他所で生成された情報に基づいて判断を下さなければならない場面が増え、タスク遂行に外部要因が影響を与えることを意味します。
そのため、AIエージェントが依拠するデータが途中で改ざん・操作されるリスクがあります。言い換えれば、エージェントが他のソースから受け取る情報は、実際に利用される時点では元のままとは限らないということです。
例えば、価格フィードが操作されたり、オラクルが侵害されたりすれば、自動化された金融システムは不正確な情報に基づいて判断を下してしまいます。そして、情報に高い価値が付随するほど、そのデータを改ざんしようとするインセンティブも高まります。
AIは膨大な量の情報を高速に処理できますが、情報を受け取ることと、その情報が真実で信頼できることは別問題です。金融システムはすでに、重要なデータの信頼性を検証するためにさまざまな統制を用いていますが、AIエージェントがより多くの意思決定を担うようになれば、これらの統制をAI向けに調整・拡張することが必要になるかもしれません。
AIエージェントが健全な判断を下すには、必要に応じて、自分がどのデータを使い、それがどこから来て、いつ生成され、途中で変更されていないかを確認できることが求められます。それをどのように達成するかは、システムや関与する金融活動の種類によって異なります。
何が起きたかの証拠が必要だ
長年にわたり、金融システムは人間と組織のための広範な統制を構築・導入してきました。たとえば、監督当局は、金融機関が「業務遂行のために、十分な内部統制の枠組みを整備し、効果的に管理・検証されたオペレーション環境を維持している」ことを確認する任務を負っています。
もちろん、この枠組みは完全ではなく、独自の欠点も抱えています。しかし、より重要なのは、この枠組みが「意思決定主体としての人間または組織」の存在を前提に設計されている点です。
AIエージェントはこの前提を変えてしまいます。これらのシステムは睡眠も休日も必要とせず、常時稼働が可能です。また、人間が一つひとつの行動を承認するのを待たずに他のソフトウェアと相互作用し、数秒のうちに大きな影響を及ぼしうる何千もの定型取引を実行できます。
これは金融インフラに新たな課題をもたらします。この課題に対処するために、業界は次の4つの重要な問いに答えられる仕組みを必要としています。
- AIエージェントには何が許可されていたのか。
- どの情報を利用したのか。
- 実際には何を行ったのか。
- その記録は独立して検証可能か。
おそらく最後の問いが最も重要です。エージェント自身のログだけを、制限内に収まっていたかどうかを判断する唯一の情報源として扱うべきではありません。ログは不完全である可能性があり、システムは故障し、記録は改変されることもあります。
これに対処する方法はいくつかあります。規制された監査ログは、後からレビューできるようシステム活動の公式な記録を残します。WORMストレージ（Write Once, Read Manyの略）は、一度書き込まれたデータを後から編集できない形で保存します。第三者認証は、外部の組織が「主張どおりの事象が起きた」ことを確認する仕組みです。いずれも重要な役割を持っていますが、多くの場合、「システムが自ら報告した活動内容」を記録するにとどまります。そのため、もしシステム自体が侵害されていたり、もともとの入力が誤っていた場合には、「誤った事象を正確に記録する」ことになりかねません。
別のアプローチとしては、エージェントの行動記録を、それを生成したシステムとは切り離された場所に保管し、「何が起きたか」の説明が、そのシステム自身の自己申告に依存しないようにするという方法があります。どの手法が適切か、あるいはどの組み合わせが望ましいかは、組織やユースケースによって異なるでしょう。