在我們還未真正弄清楚如何控制它們之前，AI 智能代理已經開始進入金融領域，許多大型公司正為這些自動化系統加入支援。
上個月，大型加密貨幣交易所幣安（Binance）推出了一個開發者平台，允許 AI 智能代理分析市場，甚至代替用戶進行交易。作為預防措施，該平台表示，「存取必須透過專用的 Agentic 子帳戶授權，並與主帳戶隔離。」
與此同時，在南韓，該國金融監管機構已啟用一套 AI 驅動的監控系統，以即時偵測加密貨幣市場操縱及其他形式的不公平交易。它還會自動為調查人員準備報告。
問題在於，在這兩個案例中，AI 智能代理都能存取金融資訊，並且可以根據這些資訊採取行動。如果其中一個系統移轉資金並造成損失，誰要為此負責？稽核人員又要如何確認它原本被允許做什麼，以及是否始終在這些限制之內行事？
隨著 AI 智能代理加速發展，解答這些問題應成為首要任務。根據 Meta、Anthropic 和 OpenAI 近期的測試，AI 智能代理已出現超出既定邊界行動的情況。這已對部分公司造成嚴重傷害，包括臭名昭著的 Hugging Face 事件。
如果是人類交易員做出決定，他們可以被質問並被追究責任。如果是公司，就應有一套核准紀錄，交易亦可透過金融系統被追蹤。
然而，一個 AI 智能代理可能被允許在無人直接參與的情況下做出成千上萬個決策，這是一個全新的情境，需要被深入研究。
只給指示不等於可被追責
給 AI 智能代理一個錢包和一組指示，並不代表它可被追究責任。它需要被持續監控，以確保在既定範圍內運作，同時也必須留下自身行為的紀錄。
現有工具，例如稽核、交易所紀錄，以及受監管的資料提供者，也可以協助釐清當時有哪些資訊可用，以及決策是如何產生的。不過，視系統而定，它所依賴的資訊可能還需要與獨立來源比對，或納入現有的金融控制框架，因為一旦輸入資料錯誤或遭竄改，不論代理在推理上多麼嚴謹，最終決策仍會出錯。
當一個智能代理被允許做出金融決策時，對稽核軌跡的需求會大幅增加。原因在於，這使得稽核人員或第三方可以釐清：代理原本被指示要做什麼、收到了哪些資料、做出了什麼決定、在何時做出，以及後續產生了哪些交易。
遭到操縱的風險
另一個主要憂慮是，AI 智能代理愈來愈常被連接到外部系統。這代表它們時常必須依賴外部產生的資訊做決策，而外部因素會影響它們如何執行任務。
因此，AI 智能代理所依賴的資料，存在在傳輸過程中被更改或操縱的風險。換句話說，智能代理從其他來源取得的資訊，到了實際使用時，可能已經不完全相同。
例如，被操縱的價格資訊來源，或遭到入侵的預言機，就可能讓自動化金融系統根據錯誤資訊做出決策。而當資訊本身具有高價值時，竄改該等資料的誘因也會增加。
AI 能以極高速度處理巨量資訊，但收到資訊並不代表該資訊真實或可靠。金融系統早已使用各種控制機制來評估關鍵資料的可靠性，但隨著 AI 智能代理承擔更多決策責任，這些控制可能需要調整與擴充。
為了讓 AI 智能代理做出可靠決策，它們在必要時應能釐清：自己使用了哪些資料、資料來源為何、在何時產生，以及其間是否被更改。如何達成這一點，會因系統與涉及的金融活動而有所不同。
我們需要可證明「實際發生了什麼」
多年來，金融體系已為人類與機構建立並實施了大量控制機制。有監管機構被賦予責任，要確認金融機構「擁有足夠的內部控制框架，以建立並維持一個受有效控制並經測試的營運環境，用以開展其業務。」
當然，這套框架並不完美，也有其缺點。但更重要的是，它建基於一個假設：做出決策的是某個人或某個組織。
AI 智能代理改變了這一點。這些系統不需要睡覺，也不會因為假期而關機——它們可以持續運行。同時，它們能在無需等待人類批准每一步行動的情況下，與其他軟件互動，在幾秒內完成數以千計、但可能影響重大的例行交易。
這為金融基礎設施帶來全新的問題。為了應對這些問題，業界需要有方法回答四個關鍵問題：
- 該 AI 智能代理原本被允許做什麼？
- 它使用了哪些資訊？
- 它實際上做了什麼？
- 這些紀錄是否能被獨立驗證？
最後一個問題可能是最重要的。不能把代理自身的日誌當作唯一的事實來源，來判定它是否遵守原本設下的限制。日誌可能不完整，系統可能出錯，紀錄也可能被竄改。
有幾種不同的方式可以處理這個問題。受監管的稽核日誌會將系統活動正式紀錄下來，以供日後檢視。WORM（寫入一次、多次讀取）儲存則以一種儲存後不得再被修改的形式保存資料。第三方背書則是由外部機構出面，確認某件事確實如主張般發生。這些方法各有其用途，但大多仍是紀錄系統對自身活動的報告，因此若系統本身遭到入侵，或其輸入一開始就是錯的，那麼紀錄就可能是「忠實記錄了一件錯誤的事情」。
另一種作法是，將智能代理的行為紀錄與產生這些行為的系統分開保存，讓「發生了什麼」的說法不必依賴該系統自我匯報的可信度。究竟哪一種方式適用，或採用哪種組合，將取決於不同機構及其應用場景。