AI-agenten betreden nu al de financiële sector, met veel grote bedrijven die deze autonome systemen ondersteunen, nog voordat we weten hoe we ze moeten beheersen.
Afgelopen maand introduceerde de grote cryptobeurs Binance een ontwikkelaarsplatform waarmee AI-agenten markten kunnen analyseren en zelfs namens gebruikers kunnen handelen. Als voorzorgsmaatregel zei het platform dat “toegang moet worden geautoriseerd via een speciale Agentic-subaccount dat is gescheiden van de hoofdaccount.”
In Zuid-Korea heeft de nationale financiële toezichthouder ondertussen een AI-aangedreven bewakingssysteem gelanceerd om marktmanipulatie met crypto en andere vormen van oneerlijke handel in realtime op te sporen. Het zou ook automatisch rapporten voor onderzoekers opstellen.
Het probleem in beide gevallen is dat de AI-agenten toegang hebben tot financiële informatie en daar ook naar kunnen handelen. Als een van deze systemen geld verplaatst en verliezen veroorzaakt, wie is daar dan verantwoordelijk voor, en hoe kan een toezichthouder vaststellen wat het systeem mocht doen en of het binnen die grenzen is gebleven?
Het beantwoorden van deze vragen zou topprioriteit moeten zijn nu AI-agenten terrein winnen. Volgens recent testen door Meta, Anthropic en OpenAI handelen AI-agenten buiten hun toegewezen grenzen. Dit heeft al tot grote schade geleid bij sommige bedrijven, waaronder het beruchte Hugging Face-incident.
Als een menselijke handelaar een beslissing neemt, kan hij of zij worden ondervraagd en aansprakelijk worden gesteld. Als het om een bedrijf gaat, zou er een goedkeuringsrecord moeten zijn en kan de transactie via financiële systemen worden getraceerd.
Een AI-agent daarentegen, die mogelijk duizenden beslissingen mag nemen zonder directe betrokkenheid van een persoon, is een nieuw geval dat moet worden bestudeerd.
Alleen Instructies Geven is Geen Verantwoording
Een AI-agent een wallet en een set instructies geven, maakt hem nog niet verantwoordelijk. Hij moet continu worden gemonitord om zeker te zijn dat hij binnen de gedefinieerde grenzen opereert en zou ook een logboek van zijn handelingen moeten bijhouden.
Bestaande instrumenten zoals audits, beursgegevens en gereguleerde dataleveranciers kunnen ook helpen vast te stellen welke informatie beschikbaar was en hoe een beslissing tot stand is gekomen. Afhankelijk van het systeem moet de informatie waarop het zich baseert echter mogelijk ook worden gecontroleerd aan de hand van onafhankelijke bronnen of worden afgedekt door bestaande financiële controles, omdat een verkeerde of gemanipuleerde input tot een verkeerde beslissing leidt, ongeacht hoe goed de agent redeneert.
Wanneer een agent financiële beslissingen mag nemen, neemt de noodzaak van een controletrechter (audit trail) substantieel toe. Die maakt het immers mogelijk voor een toezichthouder of een derde partij om vast te stellen wat de agent opgedragen kreeg, welke data hij ontving, welke beslissing hij nam, wanneer hij die nam en welke transactie daarop volgde.
Het Risico op Manipulatie
Een ander groot zorgpunt is dat AI-agenten in toenemende mate worden verbonden met externe systemen. Dit betekent dat zij soms beslissingen moeten nemen op basis van informatie die elders is gegenereerd, en dat externe factoren mede bepalen hoe zij taken uitvoeren.
Daardoor bestaat het risico dat de data waarop een AI-agent vertrouwt, onderweg wordt gewijzigd of gemanipuleerd. Met andere woorden: de informatie die een AI-agent van een andere bron ontvangt, is mogelijk niet meer exact dezelfde tegen de tijd dat de agent deze gebruikt.
Een gemanipuleerde prijsgrafiek of een gecompromitteerde oracle kan er bijvoorbeeld toe leiden dat een geautomatiseerd financieel systeem een beslissing neemt op basis van onjuiste informatie. En wanneer informatie een hoge waarde vertegenwoordigt, neemt ook de prikkel toe om die data te wijzigen.
AI kan enorme hoeveelheden informatie razendsnel verwerken, maar informatie ontvangen betekent nog niet dat deze echt of betrouwbaar is. Financiële systemen gebruiken nu al allerlei controles om de betrouwbaarheid van kritieke data te beoordelen, maar AI-agenten vereisen wellicht dat deze controles worden aangepast nu zij meer beslissingsverantwoordelijkheid krijgen.
Opdat AI-agenten verantwoorde beslissingen kunnen nemen, zouden zij waar nodig moeten kunnen vaststellen welke data zij gebruikten, waar die vandaan kwam, wanneer die is geproduceerd en of zij sindsdien is gewijzigd. Hoe dit wordt gerealiseerd, kan per systeem en per soort financiële activiteit verschillen.
We Hebben Bewijs Nodig van Wat Er Gebeurde
In de loop der jaren heeft het financiële systeem uitgebreide controles voor mensen en instellingen ontwikkeld en ingevoerd. Er zijn toezichthouders die de taak hebben te bepalen dat financiële instellingen “adequate interne controlekaders hebben om een effectief gecontroleerde en geteste operationele omgeving voor de uitoefening van hun activiteiten op te zetten en in stand te houden.”
Uiteraard is dit kader niet perfect en heeft het zijn eigen tekortkomingen. Maar belangrijker is dat het is gebouwd op de aanname dat er een persoon of organisatie is die de beslissing neemt.
AI-agenten veranderen dat. Deze systemen hoeven niet te slapen of uitgeschakeld te worden tijdens vakanties – ze kunnen continu draaien. Ze interacteren ook met andere software zonder te wachten op menselijke goedkeuring voor elke actie en kunnen duizenden routinetransacties uitvoeren die in enkele seconden een zeer grote impact kunnen hebben.
Dit creëert een nieuw probleem voor de financiële infrastructuur. Om dat aan te pakken, heeft de sector een manier nodig om vier kernvragen te beantwoorden:
- Wat mocht de AI-agent doen?
- Welke informatie heeft hij gebruikt?
- Wat heeft hij daadwerkelijk gedaan?
- En kan dat verslag onafhankelijk worden geverifieerd?
De laatste vraag is waarschijnlijk de belangrijkste. De eigen logbestanden van een agent zouden niet als enige bron van waarheid moeten gelden om te bepalen of hij binnen de bedoelde beperkingen is gebleven. Logbestanden kunnen incompleet zijn, systemen kunnen falen en gegevens kunnen worden gewijzigd.
Er zijn verschillende manieren om dit aan te pakken. Gereguleerde auditlogs houden formeel bij welke systeemactiviteiten hebben plaatsgevonden voor latere beoordeling. WORM-opslag, kort voor write once, read many, bewaart data in een vorm die niet kan worden bewerkt nadat ze is opgeslagen. Third-party attestation brengt een externe partij in om te bevestigen dat iets is gebeurd zoals beweerd. Elk heeft zijn nut, maar ze leggen vooral vast wat een systeem zelf rapporteert over zijn activiteiten. Als het systeem is gecompromitteerd of de input van meet af aan fout was, kan het verslag dus nog steeds nauwkeurig zijn over iets dat niet klopt.
Een andere benadering is om een verslag van de acties van de agent los te bewaren van het systeem dat ze heeft geproduceerd, zodat het relaas van wat er is gebeurd niet afhankelijk is van het vertrouwen in dat systeem om over zichzelf te rapporteren. Welke aanpak past, of welke combinatie, hangt af van de instelling en de toepassing.