Gli agenti di IA stanno già entrando nella finanza, con molte grandi aziende che aggiungono supporto per questi sistemi autonomi, e questo sta accadendo prima che sappiamo come controllarli.
Lo scorso mese, il grande exchange cripto Binance ha introdotto una piattaforma per sviluppatori che consente agli agenti di IA di analizzare i mercati e persino fare trading per conto degli utenti. Come misura precauzionale, la piattaforma ha dichiarato che “l’accesso deve essere autorizzato tramite un sotto-conto Agentic dedicato, isolato dall’account principale”.
In Corea del Sud, nel frattempo, l’autorità di vigilanza finanziaria del Paese ha lanciato un sistema di sorveglianza basato su IA per rilevare in tempo reale la manipolazione del mercato cripto e altre forme di negoziazione sleale. Preparerebbe anche automaticamente i report per gli investigatori.
Il problema è che, in entrambi i casi, gli agenti di IA hanno accesso a informazioni finanziarie e possono anche agire su di esse. Se uno di questi sistemi sposta denaro e causa perdite, chi ne risponde, e come può un ispettore stabilire che cosa era autorizzato a fare e se è rimasto entro quei limiti?
Rispondere a queste domande dovrebbe essere una priorità fondamentale man mano che gli agenti di IA acquistano slancio. Secondo test recenti di Meta, Anthropic e OpenAI, gli agenti di IA si comportano al di là dei confini loro assegnati. Questo ha già causato gravi danni ad alcune aziende, incluso il famigerato incidente di Hugging Face.
Se un trader umano prende una decisione, può essere interrogato e ritenuto responsabile. Se è un’azienda, dovrebbe esistere un registro di approvazione, e la transazione può essere tracciata attraverso i sistemi finanziari.
Tuttavia, un agente di IA, che potrebbe essere autorizzato a prendere migliaia di decisioni senza il coinvolgimento diretto di una persona, è un caso nuovo che deve essere studiato.
Dare Istruzioni Non Basta a Garantire la Responsabilità
Dare a un agente di IA un wallet e un insieme di istruzioni non lo rende responsabile. Dovrà essere monitorato in modo continuo per assicurarsi che operi entro i limiti definiti e dovrà anche lasciare una traccia delle proprie azioni.
Strumenti esistenti come audit, registri degli exchange e fornitori di dati regolamentati possono anche contribuire a stabilire quali informazioni fossero disponibili e come è stata presa una decisione. Tuttavia, a seconda del sistema, le informazioni su cui si basa potrebbero dover essere verificate rispetto a fonti indipendenti o coperte da controlli finanziari esistenti, perché un input errato o alterato produce una decisione errata, per quanto bene l’agente ragioni.
Quando a un agente è consentito prendere decisioni finanziarie, la necessità di una pista di audit aumenta in modo sostanziale. Questo perché permetterebbe a un ispettore o a una terza parte di stabilire che cosa l’agente è stato istruito a fare, quali dati ha ricevuto, quale decisione ha preso, quando l’ha presa e quale transazione ne è seguita.
Il Rischio di Manipolazione
Un’altra grande area di preoccupazione è che gli agenti di IA vengono sempre più collegati a sistemi esterni. Questo significa che, a volte, potrebbero dover prendere decisioni basate su informazioni generate altrove e che fattori esterni incideranno su come svolgono i compiti.
Pertanto, esiste il rischio che i dati su cui si basa un agente di IA possano essere alterati o manipolati lungo il percorso. In altre parole, le informazioni che un agente di IA riceve da un’altra fonte potrebbero non rimanere esattamente le stesse nel momento in cui l’agente le utilizza.
Per esempio, un flusso di prezzi manipolato o un oracle compromesso potrebbero indurre un sistema finanziario automatizzato a prendere una decisione basata su informazioni inaccurate. E quando a un’informazione è associato un alto valore, aumenta anche l’incentivo ad alterare quei dati.
L’IA può elaborare enormi quantità di informazioni ad alta velocità, ma ricevere informazioni non significa che siano autentiche o affidabili. I sistemi finanziari utilizzano già una serie di controlli per valutare l’affidabilità dei dati critici, ma gli agenti di IA potrebbero richiedere l’adattamento di questi controlli man mano che assumono maggiori responsabilità decisionali.
Perché gli agenti di IA possano prendere decisioni solide, dovrebbero essere in grado di stabilire, quando necessario, quali dati hanno utilizzato, da dove provenivano, quando sono stati prodotti e se sono stati modificati nel frattempo. Il modo in cui questo viene realizzato può variare a seconda del sistema e dell’attività finanziaria coinvolta.
Abbiamo Bisogno di Prove di Quanto è Accaduto
Nel corso degli anni, il sistema finanziario ha sviluppato e messo in atto controlli estesi per gli esseri umani e le istituzioni. Esistono supervisori incaricati di stabilire che le istituzioni finanziarie “dispongano di adeguati quadri di controllo interno per stabilire e mantenere un ambiente operativo efficacemente controllato e testato per lo svolgimento della loro attività”.
Naturalmente, questo quadro non è perfetto e presenta le proprie carenze. Ma ciò che conta di più è che è costruito sull’assunzione che vi sia una persona o un’organizzazione a prendere la decisione.
Gli agenti di IA cambiano questo presupposto. Questi sistemi non hanno bisogno di dormire o di spegnersi durante le festività: possono funzionare in modo continuativo. Inoltre interagiscono con altro software senza attendere che un essere umana approvi ogni azione e portano a termine migliaia di transazioni di routine che possono avere un impatto molto grande in pochi secondi.
Questo crea un nuovo problema per l’infrastruttura finanziaria. E per affrontarlo, il settore ha bisogno di un modo per rispondere a quattro domande chiave:
- Che cosa era autorizzato a fare l’agente di IA?
- Quali informazioni ha utilizzato?
- Che cosa ha fatto effettivamente?
- E se quel registro può essere verificato in modo indipendente?
L’ultima domanda è probabilmente la più importante. I log di un agente non dovrebbero essere trattati come l’unica fonte di verità per determinare se è rimasto entro i limiti previsti. I log possono essere incompleti, i sistemi possono guastarsi e i registri possono essere modificati.
Esistono diversi modi per affrontare questo problema. I registri di audit regolamentati mantengono una registrazione formale dell’attività di sistema per una revisione successiva. L’archiviazione WORM, acronimo di write once, read many, conserva i dati in una forma che non può essere modificata dopo il salvataggio. L’attestazione di terze parti coinvolge un soggetto esterno per confermare che qualcosa sia avvenuto come dichiarato. Ognuno di questi strumenti ha un proprio ruolo, ma per lo più registrano ciò che un sistema riferisce sulla propria attività; quindi, se il sistema è compromesso o i suoi input erano errati fin dall’inizio, il registro può essere accurato rispetto alla cosa sbagliata.
Un altro approccio consiste nel conservare una registrazione delle azioni dell’agente separata dal sistema che le ha prodotte, in modo che il resoconto di quanto è accaduto non dipenda dal fatto che quel sistema sia considerato affidabile nel riferire su se stesso. Quale di questi approcci, o quale combinazione, sia più adatto dipenderà dall’istituzione e dall’applicazione.