AI-агенти вже входять у сферу фінансів: багато великих компаній додають підтримку цих автономних систем ще до того, як ми розуміємо, як їх контролювати.
Минулого місяця велика криптобіржа Binance запустила платформу для розробників, що дозволяє AI-агентам аналізувати ринки й навіть торгувати від імені користувачів. Як запобіжний захід платформа зазначила, що «доступ має бути авторизований через спеціальний агентний субрахунок, ізольований від основного рахунку».
Тим часом у Південній Кореї фінансовий регулятор країни запустив систему на основі AI для нагляду, яка в режимі реального часу виявляє маніпуляції на крипторинку та інші форми недобросовісної торгівлі. Вона також автоматично готує звіти для слідчих.
Проблема в тому, що в обох цих випадках AI-агенти мають доступ до фінансової інформації й можуть діяти на її основі. Якщо одна з таких систем переміщує кошти й спричиняє збитки, хто за це відповідає і як перевіряльник встановить, що їй було дозволено робити та чи залишалася вона в межах цих обмежень?
Відповіді на ці запитання мають стати ключовим пріоритетом у міру того, як AI-агенти набирають обертів. Згідно з нещодавніми тестами Meta, Anthropic і OpenAI, AI-агенти поводяться за межами призначених для них кордонів. Це вже завдало серйозної шкоди деяким компаніям, включно з відомим інцидентом із Hugging Face.
Якщо рішення ухвалює трейдер-людина, його можна допитати й притягнути до відповідальності. Якщо це компанія — має існувати запис про затвердження, а транзакцію можна відстежити через фінансові системи.
Натомість AI-агент, якому можуть дозволити ухвалювати тисячі рішень без прямої участі людини, — новий випадок, що потребує вивчення.
Самих інструкцій недостатньо для відповідальності
Надати AI-агенту гаманець і набір інструкцій — не означає зробити його відповідальним. Його потрібно постійно моніторити, щоб переконатися, що він діє в межах визначених обмежень, а також має залишати запис про свої дії.
Існуючі інструменти — аудити, біржові записи та регульовані постачальники даних — можуть допомогти встановити, яка інформація була доступною і як ухвалювалося рішення. Проте, залежно від системи, інформацію, на яку вона спирається, також може знадобитися звіряти з незалежними джерелами або охопити чинними фінансовими контролями, адже хибний чи змінений вхід дає хибне рішення, яким би добрим не було міркування агента.
Коли агенту дозволяють ухвалювати фінансові рішення, потреба в аудиторському сліді суттєво зростає. Це потрібно для того, щоб перевіряльник або третя сторона могли встановити, що було наказано агенту, які дані він отримав, яке рішення прийняв, коли саме та яку транзакцію здійснив.
Ризик маніпуляції
Ще одна велика сфера занепокоєння — те, що AI-агентів дедалі частіше під’єднують до зовнішніх систем. Це означає, що часом їм доводиться ухвалювати рішення, спираючись на інформацію, згенеровану деінде, а зовнішні фактори впливатимуть на те, як вони виконують завдання.
Через це виникає ризик, що дані, на які спирається AI-агент, можуть бути змінені або підроблені в процесі. Іншими словами, інформація, яку AI-агент отримує з іншого джерела, може вже не бути точно такою самою на момент її використання агентом.
Наприклад, маніпульована цінова стрічка або скомпрометований оракул можуть змусити автоматизовану фінансову систему ухвалити рішення на основі недостовірної інформації. І коли інформація має велику цінність, зростає й стимул змінити ці дані.
AI здатний обробляти величезні обсяги інформації з великою швидкістю, але отримання інформації ще не означає, що вона справжня чи надійна. Фінансові системи вже застосовують низку контролів для оцінки надійності критично важливих даних, але для AI-агентів ці контролі, ймовірно, доведеться адаптувати, оскільки вони перебирають на себе дедалі більше функцій ухвалення рішень.
Щоб AI-агенти ухвалювали обґрунтовані рішення, їм, за потреби, слід мати змогу встановити, які саме дані вони використали, звідки вони надійшли, коли були створені й чи змінювалися відтоді. Те, як це реалізувати, може відрізнятися залежно від системи й конкретної фінансової діяльності.
Нам потрібні докази того, що сталося
З роками фінансова система розробила й запровадила широкий набір контролів для людей та інституцій. Існують наглядові органи, які мають визначити, що фінансові установи «мають адекватні внутрішні контрольні рамки для створення й підтримання ефективно контрольованого й протестованого операційного середовища для ведення свого бізнесу».
Звісно, ця рамка не є досконалою й має власні недоліки. Але важливіше те, що вона побудована на припущенні, що рішення ухвалює людина або організація.
AI-агенти це змінюють. Цим системам не потрібно спати або вимикатися на свята — вони можуть працювати безперервно. Вони також взаємодіють з іншим програмним забезпеченням без очікування людського схвалення кожної дії та здійснюють тисячі рутинних транзакцій, які за лічені секунди можуть мати величезний вплив.
Це створює нову проблему для фінансової інфраструктури. Щоб її вирішити, галузі потрібен спосіб відповісти на чотири ключові запитання:
- Що було дозволено робити AI-агенту?
- Яку інформацію він використовував?
- Що він фактично зробив?
- І чи може цей запис бути незалежно підтверджений?
Останнє запитання, ймовірно, є найважливішим. Власні логи агента не слід вважати єдиним джерелом істини для визначення того, чи залишався він у межах своїх намічених обмежень. Журнали можуть бути неповними, системи — відмовляти, а записи — змінюватися.
Є кілька підходів до цього. Регульовані журнали аудиту ведуть формальний запис активності системи для подальшого перегляду. WORM-сховище (write once, read many — «записати один раз, читати багато разів») зберігає дані у формі, яку неможливо відредагувати після збереження. Атестація третьою стороною залучає зовнішнього учасника для підтвердження того, що щось сталося, як заявлено. Кожен із цих підходів має своє місце, але здебільшого вони фіксують те, що система повідомляє про власну активність, тож якщо система скомпрометована або її вхідні дані від початку були помилковими, запис може бути точним про неправильну річ.
Інший підхід — зберігати запис дій агента окремо від системи, що їх породила, щоб опис подій не залежав від того, чи можна довіряти самій системі у звітуванні про себе. Те, який варіант або яку комбінацію обрати, залежатиме від установи та застосування.