AI 代理已經進入金融領域，許多大型公司都在為這些自主系統新增支援，而這一切發生的時間點，早於我們真正弄清楚如何控制它們。
上個月，大型加密貨幣交易所幣安（Binance） 推出 一個開發者平台，允許 AI 代理分析市場，甚至代替用戶進行交易。作為預防措施，該平台表示，「存取權必須透過專用的 Agentic 子帳戶授權，並與主帳戶隔離。」
與此同時，在南韓，該國金融監管機構 啟用 了一套 AI 驅動的監控系統，用於即時偵測加密貨幣市場操縱以及其他各種不公平交易行為。該系統也會自動為調查人員準備報告。
問題在於，在這兩個案例中，AI 代理不僅能存取金融資訊，還能對其採取行動。如果其中一個系統移轉資金並造成損失，究竟誰要負責？檢查人員又要如何釐清，它當初被允許做什麼，以及實際上有沒有待在這些界線之內？
隨著 AI 代理的發展加速，回答這些問題應成為首要任務。根據 Meta、Anthropic 和 OpenAI 近期的測試結果，AI 代理正在行動 超出其被指派的邊界。這已經對部分公司造成嚴重傷害，包括惡名昭彰的 Hugging Face 事件。
若是人類交易員做出決策，他可以被詢問並被追究責任。若是公司，理應會有核准紀錄，且交易可透過金融系統被追蹤。
然而，一個被允許在無人直接介入情況下，做出數以千計決策的 AI 代理，是一種全新的情況，必須重新研究。
光給指令不等於有問責機制
給 AI 代理一個錢包和一套指令，並不會讓它自動「負責任」。它需要被持續監控，以確保其在設定的界線內運作，並且必須留下可供稽核的行為紀錄。
現有工具，例如稽核、交易所紀錄與受監管的資料提供者，也有助於釐清當時有哪些資訊可用，以及決策是如何作出的。然而，視系統而定，它所仰賴的資訊也可能必須對照獨立來源，或納入現有的金融管控之中，因為只要輸入錯誤或被篡改，不論代理的推理多完善，結果仍會是錯的。
一旦代理被允許做出金融決策，對稽核軌跡（audit trail）的需求就會大幅提高。這是因為稽核軌跡能讓檢查人員或第三方釐清：代理被指示要做什麼、收到什麼資料、做了什麼決定、在什麼時點做出決定，以及隨後產生了什麼交易。
被操縱的風險
另一個主要的關切點，是 AI 代理正愈來愈多地連結到外部系統。這代表某些時候，它們必須根據外部產生的資訊做出決策，而外部因素也會左右它們執行任務的方式。
因此，AI 代理所依賴的資料，可能在傳輸過程中被更改或操縱。也就是說，AI 代理從其他來源接收到的資訊，很可能在真正被使用前就已不再完全相同。
例如，被操縱的價格資訊或遭入侵的預言機（oracle），可能導致自動化金融系統基於不準確資訊做出決策。而當資訊本身價值愈高，篡改該資料的誘因也會隨之增加。
AI 可以高速處理龐大資訊量，但接收到資訊並不代表該資訊是真實或可靠的。金融系統本來就使用各種控制機制來評估關鍵資料的可靠性，而隨著 AI 代理承擔更多決策責任，這些控制機制可能需要進一步調整。
為了讓 AI 代理能做出穩健決策，它必須在必要時，能夠釐清自己用了哪些資料、資料來源在哪裡、何時產生，以及在此之後是否遭到更動。要如何達成，會依系統與涉及的金融活動類型而有所不同。
我們需要可證明「究竟發生了什麼」
多年來，金融體系已經為人與機構建立並部署了各種嚴密的管控措施。監理機關 被賦予責任 ，要確認金融機構「具備足夠的內部控制架構，以建立並維持一個經有效控制與測試的營運環境，來從事其業務」。
當然，這套框架並不完美，也有其缺點。但更重要的是，它是建立在「決策者必然是人或組織」這項假設之上。
AI 代理改變了這點。這些系統不需要睡覺，也不用逢年過節關機——它們可以持續運作。同時，它們與其他軟體互動時，無須等待人類核准每一個動作，能在短短幾秒內完成成千上萬筆例行交易，而這些交易可能產生非常巨大的影響。
這為金融基礎設施帶來新的難題。為了應對這點，業界需要一套方法，來回答四個關鍵問題：
- AI 代理被允許做什麼？
- 它使用了哪些資訊？
- 它實際做了什麼？
- 這些紀錄是否能被獨立驗證？
最後一個問題可能是最重要的。代理本身的日誌，不應被視為判定其是否遵守預定限制的唯一事實來源。日誌可能不完整、系統可能故障、紀錄也可能被篡改。
有幾種方式可以著手改善。受監管的稽核日誌，會正式紀錄系統活動以供日後檢視。WORM 儲存（write once, read many）則以一種資料寫入後無法再被編輯的形式保存紀錄。第三方鑑證則由外部機構出面，確認某件事確實如主張般發生。這些方法各有所長，但多半是記載系統自行回報的活動情形，因此若系統本身遭到入侵，或一開始輸入的資訊就是錯的，紀錄只會「準確地描述一件錯誤的事」。
另一種做法，是將代理行為的紀錄，與產生這些行為的系統分開保存，如此一來，對於「究竟發生了什麼」的敘述，就不必建立在信任該系統會如實回報自身行為之上。究竟哪一種方式適合，或需要何種組合，將取決於該金融機構與具體應用場景。