Agentes de IA já estão entrando nas finanças, com muitas grandes empresas adicionando suporte a esses sistemas autônomos, o que está acontecendo antes de sabermos como controlá-los.
No mês passado, a grande corretora de cripto Binance introduziu uma plataforma para desenvolvedores que permite que agentes de IA analisem mercados e até negociem em nome dos usuários. Como precaução, a plataforma afirmou que “o acesso precisa ser autorizado por meio de uma subconta Agentic dedicada, que é isolada da conta principal”.
Enquanto isso, na Coreia do Sul, o órgão regulador financeiro do país lançou um sistema de vigilância com IA para detectar, em tempo real, manipulação do mercado cripto e outras formas de negociação desleal. Ele também prepararia automaticamente relatórios para investigadores.
A questão é que, nesses dois casos, os agentes de IA têm acesso a informações financeiras e também podem agir sobre elas. Se um desses sistemas movimenta dinheiro e causa perdas, quem responde por isso, e como um examinador estabelece o que ele estava autorizado a fazer e se permaneceu dentro desses limites?
Responder a essas perguntas deveria ser uma prioridade à medida que os agentes de IA ganham impulso. De acordo com testes recentes da Meta, Anthropic e OpenAI, agentes de IA estão agindo além de seus limites atribuídos. Isso já causou grandes danos a algumas empresas, incluindo o infame incidente da Hugging Face.
Se um trader humano toma uma decisão, ele pode ser questionado e responsabilizado. Se for uma empresa, deve haver um registro de aprovação, e a transação pode ser rastreada pelos sistemas financeiros.
No entanto, um agente de IA, que pode ter permissão para tomar milhares de decisões sem uma pessoa diretamente envolvida, é um novo caso que precisa ser estudado.
Dar instruções não é o mesmo que responsabilidade
Dar a um agente de IA uma carteira e um conjunto de instruções não o torna responsável. Ele precisará ser monitorado continuamente para garantir que opere dentro de seus limites definidos e também deverá deixar um registro de suas ações.
Ferramentas existentes, como auditorias, registros de corretoras e provedores de dados regulamentados, também podem ajudar a estabelecer quais informações estavam disponíveis e como uma decisão foi tomada. No entanto, dependendo do sistema, as informações em que ele se baseia também podem precisar ser verificadas por fontes independentes ou cobertas por controles financeiros existentes, porque uma entrada errada ou alterada produz uma decisão errada, não importa quão bem o agente raciocine.
Quando um agente tem permissão para tomar decisões financeiras, a necessidade de uma trilha de auditoria aumenta substancialmente. Isso porque ela permitiria que um examinador ou um terceiro estabelecesse o que o agente foi instruído a fazer, quais dados recebeu, que decisão tomou, quando a tomou e qual transação se seguiu.
O risco de manipulação
Outra grande área de preocupação é que agentes de IA estão sendo cada vez mais conectados a sistemas externos. Isso significa que, em certos momentos, eles podem ter que tomar decisões com base em informações geradas em outros lugares, e que fatores externos terão influência em como executam tarefas.
Portanto, existe o risco de que os dados em que um agente de IA se baseia possam ser alterados ou manipulados ao longo do caminho. Em outras palavras, a informação que um agente de IA recebe de outra fonte pode não permanecer exatamente a mesma até o momento em que o agente a utiliza.
Por exemplo, um feed de preços manipulado ou um oráculo comprometido pode levar um sistema financeiro automatizado a tomar uma decisão baseada em informações imprecisas. E quando há alto valor associado à informação, o incentivo para alterá-la também aumenta.
A IA pode processar enormes quantidades de informação em alta velocidade, mas receber informação não significa que ela seja genuína ou confiável. Sistemas financeiros já usam uma série de controles para avaliar a confiabilidade de dados críticos, mas os agentes de IA podem exigir que esses controles sejam adaptados à medida que assumem mais responsabilidades de tomada de decisão.
Para que agentes de IA tomem decisões sólidas, eles devem ser capazes de estabelecer, quando necessário, quais dados utilizaram, de onde vieram, quando foram produzidos e se foram alterados desde então. Como isso é alcançado pode variar dependendo do sistema e da atividade financeira envolvida.
Precisamos de prova do que aconteceu
Ao longo dos anos, o sistema financeiro desenvolveu e implementou controles extensivos para humanos e instituições. Existem supervisores que são responsáveis por determinar se as instituições financeiras “possuem estruturas adequadas de controle interno para estabelecer e manter um ambiente operacional efetivamente controlado e testado para a condução de seus negócios”.
Claro, esse arcabouço não é perfeito e apresenta suas próprias limitações. Mas o que mais importa é que ele é construído sobre a premissa de que há uma pessoa ou uma organização tomando a decisão.
Agentes de IA mudam isso. Esses sistemas não precisam dormir ou desligar em feriados – podem operar continuamente. Eles também interagem com outros softwares sem esperar que um humano aprove cada ação, e executam milhares de transações rotineiras que podem ter um impacto muito grande em questão de segundos.
Isso cria um novo problema para a infraestrutura financeira. E, para enfrentá-lo, o setor precisa de uma forma de responder a quatro perguntas principais:
- O que o agente de IA estava autorizado a fazer?
- Que informações ele utilizou?
- O que ele realmente fez?
- E se esse registro pode ser verificado de forma independente?
A última pergunta é provavelmente a mais importante. Os próprios logs de um agente não devem ser tratados como a única fonte da verdade para determinar se ele permaneceu dentro de suas limitações pretendidas. Logs podem ser incompletos, sistemas podem falhar e registros podem ser alterados.
Há várias maneiras de abordar isso. Logs de auditoria regulamentados mantêm um registro formal da atividade do sistema para revisão posterior. Armazenamento WORM, sigla em inglês para write once, read many, mantém dados em uma forma que não pode ser editada após serem salvos. A atestação por terceiros envolve uma parte externa para confirmar que algo aconteceu conforme alegado. Cada um tem seu papel, mas, em geral, registram o que um sistema relata sobre sua própria atividade; portanto, se o sistema estiver comprometido ou se suas entradas estiverem erradas desde o início, o registro pode ser preciso sobre a coisa errada.
Outra abordagem é manter um registro das ações do agente separado do sistema que as produziu, de modo que o relato do que aconteceu não dependa de esse sistema ser confiável para relatar sobre si mesmo. Qual dessas opções se encaixa melhor, ou que combinação delas usar, dependerá da instituição e da aplicação.