KI-Agenten halten bereits Einzug in die Finanzwelt, wobei viele große Unternehmen Unterstützung für diese autonomen Systeme hinzufügen – und das, bevor wir wissen, wie wir sie kontrollieren können.
Letzten Monat hat die große Krypto-Börse Binance eine Entwicklerplattform eingeführt, die es KI-Agenten ermöglicht, Märkte zu analysieren und sogar im Namen der Nutzer zu handeln. Als Vorsichtsmaßnahme erklärte die Plattform, dass „der Zugriff über ein dediziertes Agentic-Unterkonto autorisiert werden muss, das vom Hauptkonto isoliert ist“.
In Südkorea wiederum hat die nationale Finanzaufsicht ein KI-gestütztes Überwachungssystem eingeführt, um Marktmanipulationen im Kryptobereich und andere Formen unlauteren Handels in Echtzeit zu erkennen. Es soll zudem automatisch Berichte für Ermittler erstellen.
Das Problem ist, dass in beiden Fällen die KI-Agenten Zugang zu Finanzinformationen haben und auch auf dieser Grundlage handeln können. Wenn eines dieser Systeme Geld bewegt und Verluste verursacht, wer trägt dann die Verantwortung, und wie kann ein Prüfer feststellen, wozu es befugt war und ob es sich innerhalb dieser Grenzen bewegt hat?
Die Beantwortung dieser Fragen sollte eine zentrale Priorität sein, da KI-Agenten an Dynamik gewinnen. Nach aktuellen Tests von Meta, Anthropic und OpenAI handeln KI-Agenten über ihre zugewiesenen Grenzen hinaus. Dies hat bereits einigen Unternehmen erheblichen Schaden zugefügt, einschließlich des berüchtigten Vorfalls bei Hugging Face.
Wenn ein menschlicher Händler eine Entscheidung trifft, kann er befragt und zur Rechenschaft gezogen werden. Handelt ein Unternehmen, sollte es eine Genehmigungsdokumentation geben, und die Transaktion lässt sich durch die Finanzsysteme zurückverfolgen.
Ein KI-Agent jedoch, der befugt ist, Tausende von Entscheidungen ohne direkte menschliche Beteiligung zu treffen, ist ein neuer Fall, der untersucht werden muss.
Anweisungen allein bedeuten keine Rechenschaftspflicht
Einen KI-Agenten mit einer Wallet und einem Satz von Anweisungen auszustatten, macht ihn noch nicht verantwortlich. Er muss kontinuierlich überwacht werden, um sicherzustellen, dass er innerhalb seiner definierten Grenzen arbeitet, und sollte außerdem einen Nachweis seiner Handlungen hinterlassen.
Bestehende Instrumente wie Audits, Börsenaufzeichnungen und regulierte Datenanbieter können ebenfalls helfen festzustellen, welche Informationen verfügbar waren und wie eine Entscheidung getroffen wurde. Je nach System muss die zugrunde liegende Information jedoch möglicherweise auch mit unabhängigen Quellen abgeglichen oder durch bestehende finanzielle Kontrollen abgesichert werden, denn ein falscher oder veränderter Input führt zu einer falschen Entscheidung, ganz gleich, wie gut der Agent „denkt“.
Wenn ein Agent befugt ist, finanzielle Entscheidungen zu treffen, steigt der Bedarf an einer Prüfspur erheblich. Denn sie ermöglicht es einem Prüfer oder Dritten festzustellen, wozu der Agent angewiesen war, welche Daten er erhalten hat, welche Entscheidung er getroffen hat, wann er sie getroffen hat und welche Transaktion darauf folgte.
Das Risiko der Manipulation
Ein weiterer großer Problembereich ist, dass KI-Agenten zunehmend mit externen Systemen verbunden werden. Das bedeutet, dass sie mitunter Entscheidungen auf Grundlage von Informationen treffen müssen, die anderswo generiert wurden, und dass externe Faktoren Einfluss darauf haben, wie sie Aufgaben ausführen.
Daher besteht das Risiko, dass die Daten, auf die sich ein KI-Agent stützt, unterwegs verändert oder manipuliert werden. Mit anderen Worten: Die Informationen, die ein KI-Agent von einer anderen Quelle erhält, könnten bis zu dem Zeitpunkt, an dem er sie nutzt, nicht mehr exakt dieselben sein.
Ein manipuliertes Preisfeed oder ein kompromittiertes Orakel könnte zum Beispiel dazu führen, dass ein automatisiertes Finanzsystem Entscheidungen auf Basis unzutreffender Informationen trifft. Und wenn Informationen einen hohen Wert haben, steigt auch der Anreiz, diese Daten zu verändern.
KI kann enorme Datenmengen in hoher Geschwindigkeit verarbeiten, doch das Empfangen von Informationen bedeutet nicht, dass diese echt oder zuverlässig sind. Finanzsysteme setzen bereits eine Vielzahl von Kontrollen ein, um die Verlässlichkeit kritischer Daten zu bewerten, aber KI-Agenten könnten eine Anpassung dieser Kontrollen erfordern, wenn sie mehr Entscheidungsverantwortung übernehmen.
Damit KI-Agenten fundierte Entscheidungen treffen können, sollten sie – wo erforderlich – feststellen können, welche Daten sie verwendet haben, woher diese stammen, wann sie erzeugt wurden und ob sie seitdem verändert wurden. Wie dies umgesetzt wird, kann je nach System und der betreffenden Finanzaktivität variieren.
Wir brauchen Beweise für das, was geschehen ist
Im Laufe der Jahre hat das Finanzsystem umfassende Kontrollen für Menschen und Institutionen entwickelt und eingeführt. Es gibt Aufseher, die damit beauftragt sind, sicherzustellen, dass Finanzinstitute „über angemessene interne Kontrollrahmen verfügen, um ein wirksam kontrolliertes und getestetes Betriebsumfeld für die Durchführung ihrer Geschäfte zu schaffen und aufrechtzuerhalten“.
Natürlich ist dieses Rahmenwerk nicht perfekt und bringt eigene Schwächen mit sich. Entscheidender ist jedoch, dass es auf der Annahme beruht, dass eine Person oder eine Organisation die Entscheidung trifft.
KI-Agenten ändern das. Diese Systeme müssen nicht schlafen oder an Feiertagen abgeschaltet werden – sie können ununterbrochen laufen. Sie interagieren zudem mit anderer Software, ohne darauf zu warten, dass ein Mensch jede Handlung genehmigt, und führen Tausende von Routinetransaktionen aus, die innerhalb von Sekunden sehr große Auswirkungen haben können.
Das schafft ein neues Problem für die Finanzinfrastruktur. Um dieses zu lösen, braucht die Branche eine Möglichkeit, vier Schlüsselfragen zu beantworten:
- Wozu war der KI-Agent befugt?
- Welche Informationen hat er genutzt?
- Was hat er tatsächlich getan?
- Und lässt sich dieser Nachweis unabhängig verifizieren?
Die letzte Frage ist vermutlich die wichtigste. Die eigenen Protokolle eines Agenten sollten nicht als einzige Wahrheitsquelle dafür dienen, ob er innerhalb seiner beabsichtigten Grenzen geblieben ist. Protokolle können unvollständig sein, Systeme können ausfallen, und Aufzeichnungen können verändert werden.
Es gibt mehrere Ansätze, dem zu begegnen. Regulierte Audit-Logs führen formale Aufzeichnungen der Systemaktivität zur späteren Überprüfung. WORM-Speicher (write once, read many) hält Daten in einer Form, die nach dem Speichern nicht mehr bearbeitet werden kann. Drittschuldnerbestätigungen beziehungsweise Third-Party-Attestierungen ziehen eine externe Partei hinzu, um zu bestätigen, dass etwas wie behauptet geschehen ist. All diese Ansätze haben ihre Berechtigung, aber sie zeichnen überwiegend auf, was ein System über seine eigene Aktivität berichtet. Wenn das System kompromittiert ist oder seine Eingaben von Anfang an falsch waren, kann der Datensatz zwar korrekt sein, aber dennoch das Falsche dokumentieren.
Ein anderer Ansatz besteht darin, die Aktionen des Agenten getrennt von dem System aufzuzeichnen, das sie erzeugt hat, damit der Bericht über das Geschehen nicht davon abhängt, dass dieses System sich selbst korrekt meldet. Welche Lösung – oder welche Kombination – passt, hängt von der jeweiligen Institution und dem Anwendungsfall ab.