Los agentes de IA ya están entrando en las finanzas, con muchas grandes empresas incorporando estos sistemas autónomos, lo que ocurre antes de que sepamos cómo controlarlos.
El mes pasado, el gran exchange de criptomonedas Binance presentó una plataforma para desarrolladores que permite a los agentes de IA analizar mercados e incluso operar en nombre de los usuarios. Como medida de precaución, la plataforma señaló que “el acceso debe autorizarse a través de una subcuenta Agentic dedicada que esté aislada de la cuenta principal”.
Mientras tanto, en Corea del Sur, el regulador financiero del país ha lanzado un sistema de vigilancia impulsado por IA para detectar en tiempo real la manipulación del mercado cripto y otras formas de negociación desleal. También prepararía automáticamente informes para los investigadores.
El problema es que, en ambos casos, los agentes de IA tienen acceso a información financiera y también pueden actuar sobre ella. Si uno de estos sistemas mueve dinero y causa pérdidas, ¿quién responde por ello, y cómo puede un examinador determinar qué se le permitió hacer y si se mantuvo dentro de esos límites?
Responder a estas preguntas debería ser una prioridad clave a medida que los agentes de IA ganan impulso. Según pruebas recientes de Meta, Anthropic y OpenAI, los agentes de IA actúan más allá de los límites que se les asignan. Esto ya ha provocado un gran perjuicio para algunas empresas, incluido el infame incidente de Hugging Face.
Si un operador humano toma una decisión, se le puede interrogar y hacer responsable. Si es una empresa, debería existir un registro de aprobación, y la transacción puede rastrearse a través de los sistemas financieros.
Sin embargo, un agente de IA, al que se le puede permitir tomar miles de decisiones sin que una persona participe directamente, es un caso nuevo que necesita estudiarse.
Dar instrucciones no equivale a responsabilidad
Dar a un agente de IA una billetera y un conjunto de instrucciones no lo hace responsable. Será necesario supervisarlo de forma continua para asegurarse de que opere dentro de sus límites definidos y también debería dejar un registro de sus acciones.
Las herramientas existentes, como auditorías, registros de exchanges y proveedores de datos regulados, también pueden ayudar a determinar qué información estaba disponible y cómo se tomó una decisión. Sin embargo, según el sistema, la información en la que se basa podría necesitar ser contrastada con fuentes independientes o quedar cubierta por controles financieros existentes, porque una entrada incorrecta o alterada produce una decisión errónea por muy bien que razone el agente.
Cuando se permite a un agente tomar decisiones financieras, la necesidad de una pista de auditoría aumenta de forma considerable. Esto se debe a que permitiría a un examinador o a un tercero establecer qué se instruyó al agente a hacer, qué datos recibió, qué decisión tomó, cuándo la tomó y qué transacción siguió.
El riesgo de manipulación
Otra área de gran preocupación es que los agentes de IA se están conectando cada vez más a sistemas externos. Esto significa que, en ocasiones, tendrán que tomar decisiones basadas en información generada en otros lugares, y que factores externos influirán en cómo realizan sus tareas.
Por lo tanto, existe el riesgo de que los datos de los que depende un agente de IA puedan alterarse o manipularse en el camino. En otras palabras, la información que un agente de IA recibe de otra fuente podría no seguir siendo exactamente la misma en el momento en que la utilice.
Por ejemplo, un flujo de precios manipulado o un oráculo comprometido podría hacer que un sistema financiero automatizado tome una decisión basada en información inexacta. Y cuando hay un alto valor asociado a la información, también aumenta el incentivo para alterar esos datos.
La IA puede procesar enormes cantidades de información con rapidez, pero recibir información no significa que esa información sea auténtica o fiable. Los sistemas financieros ya usan una serie de controles para evaluar la fiabilidad de los datos críticos, pero los agentes de IA pueden requerir que estos controles se adapten a medida que asumen más responsabilidades de toma de decisiones.
Para que los agentes de IA tomen decisiones sólidas, deberían ser capaces de establecer, cuando sea necesario, qué datos utilizaron, de dónde procedían, cuándo se produjeron y si han cambiado desde entonces. La forma de lograrlo puede variar según el sistema y la actividad financiera implicada.
Necesitamos pruebas de lo que ocurrió
A lo largo de los años, el sistema financiero ha desarrollado y aplicado amplios controles para personas e instituciones. Existen supervisores encargados de determinar que las instituciones financieras “tienen marcos adecuados de control interno para establecer y mantener un entorno operativo eficazmente controlado y probado para la realización de su actividad”.
Por supuesto, este marco no es perfecto y tiene sus propias deficiencias. Pero lo que importa más es que el marco se construye sobre la suposición de que hay una persona u organización tomando la decisión.
Los agentes de IA cambian eso. Estos sistemas no necesitan dormir ni apagarse en vacaciones: pueden funcionar de forma continua. También interactúan con otros programas sin esperar a que un humano apruebe cada acción, y ejecutan miles de transacciones rutinarias que podrían tener un impacto muy grande en cuestión de segundos.
Esto crea un nuevo problema para la infraestructura financiera. Y, para abordarlo, el sector necesita una manera de responder cuatro preguntas clave:
- ¿Qué se permitió hacer al agente de IA?
- ¿Qué información utilizó?
- ¿Qué hizo realmente?
- ¿Y si ese registro puede verificarse de forma independiente?
La última pregunta es probablemente la más importante. Los propios registros de un agente no deberían tratarse como la única fuente de verdad para determinar si se mantuvo dentro de sus limitaciones previstas. Los registros pueden estar incompletos, los sistemas pueden fallar y los datos pueden modificarse.
Hay varias formas de abordar esto. Los registros de auditoría regulados mantienen un registro formal de la actividad del sistema para revisión posterior. El almacenamiento WORM, acrónimo de write once, read many, conserva los datos en una forma que no puede editarse después de guardarse. La atestación de terceros incorpora a una parte externa para confirmar que algo ocurrió según lo declarado. Cada uno tiene su función, pero en su mayoría registran lo que un sistema reporta sobre su propia actividad, de modo que, si el sistema se ve comprometido o sus entradas eran erróneas desde el principio, el registro puede ser exacto sobre algo que está mal.
Otro enfoque es mantener un registro de las acciones del agente por separado del sistema que las produjo, de manera que el relato de lo que ocurrió no dependa de que se confíe en ese sistema para informar sobre sí mismo. Cuál de estos enfoques encaja, o qué combinación, dependerá de la institución y de la aplicación.