Les agents d’IA entrent déjà dans la finance, de nombreuses grandes entreprises ajoutant le support pour ces systèmes autonomes, et cela se produit avant que nous sachions vraiment comment les contrôler.
Le mois dernier, la grande plateforme d’échange crypto Binance a présenté une plateforme pour développeurs qui permet à des agents d’IA d’analyser les marchés et même de trader au nom des utilisateurs. À titre de précaution, la plateforme a indiqué que « l’accès doit être autorisé via un sous-compte Agentique dédié, isolé du compte principal ».
En Corée du Sud, le régulateur financier du pays a lancé un système de surveillance alimenté par l’IA pour détecter en temps réel la manipulation du marché des cryptos et d’autres formes de trading déloyal. Il préparerait également automatiquement des rapports pour les enquêteurs.
Le problème, dans ces deux cas, est que les agents d’IA ont accès à des informations financières et peuvent aussi agir sur celles-ci. Si l’un de ces systèmes déplace des fonds et cause des pertes, qui en répond, et comment un examinateur peut-il établir ce qu’il était autorisé à faire et s’il est bien resté dans ces limites ?
Répondre à ces questions devrait être une priorité clé à mesure que les agents d’IA gagnent en importance. Selon des tests récents menés par Meta, Anthropic et OpenAI, des agents d’IA agissent au‑delà des limites qui leur sont fixées. Cela a déjà causé des dommages importants à certaines entreprises, notamment lors du fameux incident Hugging Face.
Si un trader humain prend une décision, on peut l’interroger et le tenir pour responsable. S’il s’agit d’une entreprise, il devrait exister une trace d’approbation, et la transaction peut être retracée dans les systèmes financiers.
En revanche, un agent d’IA, qui peut être autorisé à prendre des milliers de décisions sans implication directe d’une personne, constitue un nouveau cas qui doit être étudié.
Donner des instructions ne suffit pas à assurer la responsabilité
Donner un portefeuille et un ensemble d’instructions à un agent d’IA ne le rend pas responsable. Il devra être surveillé en continu pour garantir qu’il opère dans les limites définies, et il devra également laisser une trace de ses actions.
Les outils existants tels que les audits, les registres des plateformes d’échange et les fournisseurs de données régulés peuvent aussi aider à établir quelles informations étaient disponibles et comment une décision a été prise. Toutefois, selon le système, les informations sur lesquelles il s’appuie peuvent également devoir être vérifiées auprès de sources indépendantes ou couvertes par des contrôles financiers existants, car une entrée erronée ou altérée produit une mauvaise décision, aussi solide que soit le raisonnement de l’agent.
Lorsqu’un agent est autorisé à prendre des décisions financières, le besoin d’une piste d’audit augmente considérablement. Cela permettrait à un examinateur ou à un tiers d’établir ce que l’agent était censé faire, quelles données il a reçues, quelle décision il a prise, quand il l’a prise et quelle transaction a suivi.
Le risque de manipulation
Une autre grande source d’inquiétude est que les agents d’IA sont de plus en plus connectés à des systèmes externes. Cela signifie que, parfois, ils doivent prendre des décisions sur la base d’informations générées ailleurs, et que des facteurs externes influenceront la manière dont ils accomplissent leurs tâches.
Il en découle un risque que les données sur lesquelles un agent d’IA s’appuie puissent être altérées ou manipulées en cours de route. En d’autres termes, l’information qu’un agent d’IA reçoit d’une autre source pourrait ne plus être exactement la même au moment où l’agent l’utilise.
Par exemple, un flux de prix manipulé ou un oracle compromis pourrait pousser un système financier automatisé à prendre une décision fondée sur des informations inexactes. Et lorsque des informations ont une grande valeur, l’incitation à modifier ces données augmente également.
L’IA peut traiter d’énormes volumes d’informations rapidement, mais recevoir une information ne signifie pas qu’elle est authentique ou fiable. Les systèmes financiers utilisent déjà une série de contrôles pour évaluer la fiabilité des données critiques, mais les agents d’IA pourraient exiger que ces contrôles soient adaptés à mesure qu’ils assument davantage de responsabilités en matière de prise de décision.
Pour que les agents d’IA prennent de bonnes décisions, ils devraient être capables d’établir, lorsque c’est nécessaire, quelles données ils ont utilisées, d’où elles proviennent, quand elles ont été produites et si elles ont été modifiées depuis. La manière d’y parvenir peut varier selon le système et selon l’activité financière concernée.
Nous avons besoin de preuves de ce qui s’est passé
Au fil des ans, le système financier a développé et mis en place des contrôles étendus pour les humains et les institutions. Il existe des superviseurs chargés de déterminer que les institutions financières « disposent de cadres de contrôle interne adéquats pour établir et maintenir un environnement opérationnel efficacement contrôlé et testé pour la conduite de leurs activités ».
Bien sûr, ce cadre n’est pas parfait et comporte ses propres limites. Mais ce qui importe le plus, c’est qu’il repose sur l’hypothèse qu’une personne ou une organisation prend la décision.
Les agents d’IA changent cette donne. Ces systèmes n’ont pas besoin de dormir ni de s’arrêter pendant les jours fériés : ils peuvent fonctionner en continu. Ils interagissent aussi avec d’autres logiciels sans attendre qu’un humain approuve chaque action, et exécutent des milliers de transactions routinières qui peuvent avoir un très grand impact en quelques secondes.
Cela crée un nouveau problème pour l’infrastructure financière. Pour y faire face, le secteur a besoin d’un moyen de répondre à quatre questions clés :
- Que l’agent d’IA était‑il autorisé à faire ?
- Quelles informations a‑t‑il utilisées ?
- Que fait‑il effectivement fait ?
- Et cette trace peut‑elle être vérifiée de manière indépendante ?
La dernière question est probablement la plus importante. Les propres journaux d’un agent ne devraient pas être considérés comme l’unique source de vérité pour déterminer s’il est resté dans les limites prévues. Les journaux peuvent être incomplets, les systèmes peuvent tomber en panne et les enregistrements peuvent être modifiés.
Plusieurs approches existent. Les journaux d’audit régulés conservent un enregistrement formel de l’activité du système pour un examen ultérieur. Le stockage WORM, pour « write once, read many » (écriture unique, lecture multiple), conserve les données sous une forme qui ne peut plus être modifiée une fois enregistrée. L’attestation par un tiers fait intervenir une partie externe pour confirmer qu’un événement s’est produit comme revendiqué. Chacun a son utilité, mais la plupart enregistrent ce que le système rapporte lui‑même de son activité ; ainsi, si le système est compromis ou si ses entrées étaient erronées dès le départ, l’enregistrement peut être exact tout en décrivant une réalité faussée.
Une autre approche consiste à conserver un enregistrement des actions de l’agent séparément du système qui les a produites, de sorte que le récit de ce qui s’est passé ne dépende pas de la capacité de ce système à rendre compte fidèlement de lui‑même. Le choix de l’approche, ou de la combinaison d’approches, dépendra de l’institution et de l’usage envisagé.