ИИ‑агенты уже входят в мир финансов: многие крупные компании внедряют поддержку этих автономных систем, и это происходит раньше, чем мы понимаем, как их контролировать.
В прошлом месяце крупная криптобиржа Binance представила платформу для разработчиков, которая позволяет ИИ‑агентам анализировать рынки и даже торговать от имени пользователей. В качестве меры предосторожности платформа указала, что «доступ должен быть авторизован через отдельный субсчёт Agentic, изолированный от основного счёта».
Тем временем в Южной Корее финансовый регулятор страны запустил систему надзора на базе ИИ для выявления манипуляций на крипторынке и других форм недобросовестной торговли в режиме реального времени. Система также автоматически готовит отчёты для следователей.
Проблема в том, что в обоих этих случаях ИИ‑агенты имеют доступ к финансовой информации и могут действовать на её основе. Если одна из таких систем переведёт деньги и вызовет убытки, кто за это отвечает и как проверяющему установить, что ей было разрешено делать и оставалась ли она в этих пределах?
Ответы на эти вопросы должны стать ключевым приоритетом по мере того, как ИИ‑агенты набирают обороты. Согласно недавним тестам Meta, Anthropic и OpenAI, ИИ‑агенты действуют за пределами заданных им рамок. Это уже привело к серьёзному ущербу для ряда компаний, включая печально известный инцидент с Hugging Face.
Если решение принимает трейдер‑человек, его можно допросить и привлечь к ответственности. Если решение принимает компания, должна быть запись одобрения, а транзакцию можно отследить через финансовые системы.
Однако ИИ‑агент, которому может быть позволено принимать тысячи решений без прямого участия человека, — это новый случай, который необходимо изучить.
Одних инструкций недостаточно для ответственности
Выдать ИИ‑агенту кошелёк и набор инструкций — ещё не значит сделать его ответственным. Его нужно постоянно мониторить, чтобы убедиться, что он действует в заданных пределах, и он также должен оставлять запись о своих действиях.
Существующие инструменты, такие как аудиты, биржевые записи и регулируемые поставщики данных, могут помочь установить, какая информация была доступна и как было принято решение. Однако, в зависимости от системы, информацию, на которую она опирается, также может понадобиться проверять по независимым источникам или охватывать существующими финансовыми контролями, потому что неверный или изменённый вход даёт неверное решение, независимо от того, насколько хорошо агент рассуждает.
Когда агенту разрешают принимать финансовые решения, потребность в следе аудита существенно возрастает. Это нужно для того, чтобы проверяющий или третья сторона могли установить, что было поручено агенту, какие данные он получил, какое решение принял, когда это сделал и какая транзакция последовала.
Риск манипуляции
Ещё одна крупная область обеспокоенности в том, что ИИ‑агенты всё чаще подключаются к внешним системам. Это означает, что им нередко приходится принимать решения, опираясь на информацию, сгенерированную где‑то ещё, и внешние факторы будут влиять на то, как они выполняют задачи.
Следовательно, существует риск, что данные, на которые опирается ИИ‑агент, могут быть изменены или подменены по пути. Иными словами, информация, которую ИИ‑агент получает из другого источника, к моменту её использования агентом может уже не быть в исходном виде.
Например, поддельный ценовой фид или скомпрометированный оракул могут заставить автоматизированную финансовую систему принять решение на основе недостоверной информации. И когда информация обладает высокой ценностью, стимул изменить эти данные также возрастает.
ИИ может обрабатывать огромные объёмы информации с большой скоростью, но получение информации ещё не означает, что она подлинная или надёжная. Финансовые системы уже используют множество контролей для оценки надёжности критически важных данных, но по мере того, как ИИ‑агенты берут на себя всё больше функций по принятию решений, эти контроли, возможно, придётся адаптировать.
Чтобы ИИ‑агенты принимали обоснованные решения, они должны, где это необходимо, уметь устанавливать, какие данные они использовали, откуда они поступили, когда были созданы и изменялись ли с тех пор. То, как этого добиться, может различаться в зависимости от системы и вида финансовой деятельности.
Нам нужны доказательства того, что произошло
На протяжении многих лет финансовая система разрабатывала и внедряла обширные контроли для людей и институтов. Существуют надзорные органы, которые должны определять, что финансовые учреждения «располагают адекватными внутренними структурами контроля для создания и поддержания эффективно контролируемой и протестированной операционной среды для ведения своего бизнеса».
Разумеется, эта структура не идеальна и имеет свои недостатки. Но ещё важнее то, что она построена на предположении, что решение принимает человек или организация.
ИИ‑агенты меняют это. Этим системам не нужно спать или выключаться на праздники — они могут работать непрерывно. Они также взаимодействуют с другим программным обеспечением, не дожидаясь одобрения человека на каждое действие, и совершают тысячи рутинных операций, которые могут оказать очень большое влияние за считаные секунды.
Это создаёт новую проблему для финансовой инфраструктуры. И чтобы решить её, отрасли нужен способ ответить на четыре ключевых вопроса:
- Что ИИ‑агенту было разрешено делать?
- Какую информацию он использовал?
- Что он фактически сделал?
- И можно ли этот отчёт независимо проверить?
Последний вопрос, вероятно, самый важный. Собственные логи агента не должны считаться единственным источником истины при определении того, оставался ли он в пределах своих намеренных ограничений. Логи могут быть неполными, системы могут давать сбой, а записи — изменяться.
Существует несколько подходов к решению этой задачи. Регулируемые журналы аудита ведут формальную запись активности системы для последующего анализа. WORM‑хранилище (write once, read many — «однократная запись, многократное чтение») сохраняет данные в виде, который нельзя изменить после сохранения. Аттестация третьей стороной привлекает внешнего участника, который подтверждает, что событие произошло так, как заявлено. У каждого подхода есть своё место, но в основном они фиксируют то, что система сообщает о собственной активности, поэтому, если сама система скомпрометирована или её входные данные изначально были неверными, запись может быть точной о неверном событии.
Другой подход — хранить запись действий агента отдельно от системы, которая их породила, чтобы описание произошедшего не зависело от доверия к этой системе как к источнику сведений о самой себе. Какой из подходов подходит, или какую их комбинацию использовать, будет зависеть от учреждения и конкретного применения.