Agenci AI już wchodzą do finansów – wiele dużych firm dodaje obsługę tych autonomicznych systemów, zanim naprawdę wiemy, jak je kontrolować.
W zeszłym miesiącu duża giełda kryptowalut Binance wprowadziła platformę deweloperską, która pozwala agentom AI analizować rynki, a nawet handlować w imieniu użytkowników. Jako środek ostrożności platforma podała, że „dostęp musi zostać autoryzowany za pośrednictwem dedykowanego subkonta Agentic, które jest odizolowane od głównego konta”.
Tymczasem w Korei Południowej krajowy organ nadzoru finansowego uruchomił system nadzoru oparty na AI do wykrywania manipulacji na rynku kryptowalut i innych form nieuczciwego handlu w czasie rzeczywistym. System ma też automatycznie przygotowywać raporty dla śledczych.
Problem polega na tym, że w obu tych przypadkach agenci AI mają dostęp do informacji finansowych i mogą również na nich działać. Jeśli jeden z tych systemów przetransferuje środki i spowoduje straty, to kto za to odpowiada i jak kontroler ma ustalić, do czego system był upoważniony oraz czy działał w tych granicach?
Odpowiedź na te pytania powinna stać się kluczowym priorytetem, gdy agenci AI nabierają rozpędu. Zgodnie z ostatnimi testami przeprowadzonymi przez Meta, Anthropic i OpenAI, agenci AI działają poza wyznaczonymi im granicami. Już doprowadziło to do poważnych szkód dla niektórych firm, w tym do głośnego incydentu z Hugging Face.
Jeśli decyzję podejmuje ludzki trader, można go przesłuchać i pociągnąć do odpowiedzialności. Jeśli jest to firma, powinna istnieć ścieżka zatwierdzania, a transakcję da się prześledzić w systemach finansowych.
Agent AI, który może podejmować tysiące decyzji bez bezpośredniego udziału człowieka, jest jednak nowym przypadkiem, który trzeba zbadać.
Same instrukcje to jeszcze nie odpowiedzialność
Samo przydzielenie agentowi AI portfela i zestawu instrukcji nie czyni go odpowiedzialnym. Trzeba go stale monitorować, by upewnić się, że działa w określonych granicach, oraz wymagać, by pozostawiał zapis swoich działań.
Istniejące narzędzia, takie jak audyty, zapisy z giełd i regulowani dostawcy danych, mogą również pomóc ustalić, jakie informacje były dostępne i w jaki sposób podjęto decyzję. W zależności od systemu dane, na których polega agent, mogą jednak wymagać weryfikacji w niezależnych źródłach albo podlegać istniejącym kontrolom finansowym, ponieważ błędne lub zmanipulowane dane wejściowe prowadzą do błędnej decyzji, niezależnie od tego, jak dobrze agent rozumuje.
Gdy agent może podejmować decyzje finansowe, potrzeba ścieżki audytu znacząco rośnie. Dzięki niej kontroler lub podmiot trzeci może ustalić, co agent miał robić, jakie dane otrzymał, jaką decyzję podjął, kiedy to zrobił i jaka transakcja po tym nastąpiła.
Ryzyko manipulacji
Kolejny istotny obszar obaw polega na tym, że agenci AI są coraz częściej łączeni z systemami zewnętrznymi. Oznacza to, że czasem muszą podejmować decyzje na podstawie informacji wygenerowanych gdzie indziej, a czynniki zewnętrzne wpływają na sposób wykonywania zadań.
W związku z tym istnieje ryzyko, że dane, na których polega agent AI, mogą zostać po drodze zmienione lub zmanipulowane. Innymi słowy, informacje, które agent otrzymuje z innego źródła, mogą nie być dokładnie takie same w momencie, gdy agent ich użyje.
Na przykład zmanipulowany kanał cenowy lub skompromitowany oracle może spowodować, że zautomatyzowany system finansowy podejmie decyzję na podstawie błędnych informacji. A gdy z informacjami wiąże się wysoka wartość, rośnie też motywacja, by je zmienić.
AI potrafi błyskawicznie przetwarzać ogromne ilości danych, ale samo otrzymanie informacji nie oznacza, że są one autentyczne lub wiarygodne. Systemy finansowe już stosują szereg kontroli, by ocenić wiarygodność kluczowych danych, lecz wraz z przejmowaniem przez agentów AI większej części decyzji te kontrole mogą wymagać dostosowania.
Aby agenci AI podejmowali rozsądne decyzje, powinni być w stanie – tam, gdzie to konieczne – ustalić, jakich danych użyli, skąd one pochodzą, kiedy zostały wytworzone i czy zostały zmienione. Sposób osiągnięcia tego celu może się różnić w zależności od systemu i rodzaju działalności finansowej.
Potrzebujemy dowodu tego, co się wydarzyło
Przez lata system finansowy rozwinął i wdrożył rozbudowane mechanizmy kontroli dla ludzi i instytucji. Istnieją nadzorcy zajmujący się ustalaniem, czy instytucje finansowe „mają odpowiednie wewnętrzne ramy kontroli, aby ustanowić i utrzymywać skutecznie kontrolowane i testowane środowisko operacyjne do prowadzenia swojej działalności”.
Oczywiście ten system nie jest doskonały i ma własne słabości. Ważniejsze jest jednak to, że został zbudowany w oparciu o założenie, iż decyzję podejmuje osoba lub organizacja.
Agenci AI to zmieniają. Te systemy nie muszą spać ani się wyłączać w święta – mogą działać nieprzerwanie. Wchodzą też w interakcje z innym oprogramowaniem bez czekania na ludzką akceptację każdej czynności i wykonują tysiące rutynowych transakcji, które w ciągu kilku sekund mogą mieć bardzo duży wpływ.
To tworzy nowy problem dla infrastruktury finansowej. Aby go rozwiązać, branża potrzebuje sposobu na odpowiedź na cztery kluczowe pytania:
- Do czego agent AI był upoważniony?
- Z jakich informacji skorzystał?
- Co faktycznie zrobił?
- Czy ten zapis można niezależnie zweryfikować?
Ostatnie pytanie jest prawdopodobnie najważniejsze. Logów samego agenta nie należy traktować jako jedynego źródła prawdy przy ustalaniu, czy pozostał on w wyznaczonych granicach. Logi mogą być niekompletne, systemy mogą zawodzić, a zapisy – zmieniane.
Istnieje kilka sposobów podejścia do tego problemu. Regulowane rejestry audytowe prowadzą formalny zapis aktywności systemu do późniejszego przeglądu. Nośniki WORM (write once, read many) przechowują dane w formie, której nie można edytować po zapisaniu. Atestacja przez stronę trzecią polega na zaangażowaniu niezależnego podmiotu, który potwierdzi, że coś wydarzyło się zgodnie z deklaracją. Każde z tych rozwiązań ma swoje miejsce, lecz w większości rejestrują to, co system sam zgłasza o swojej aktywności, więc jeśli system jest skompromitowany lub jego dane wejściowe były od początku błędne, zapis może być dokładny – ale dotyczyć czegoś, co jest nieprawdziwe.
Innym podejściem jest prowadzenie rejestru działań agenta oddzielnie od systemu, który je wytwarza, tak aby opis tego, co się wydarzyło, nie zależał od zaufania do tego systemu jako źródła informacji o samym sobie. To, które rozwiązanie – lub jaka ich kombinacja – będzie właściwe, zależy od instytucji i zastosowania.