Ein von einem Alibaba-nahen Forschungsteam entwickelter KI-Agent begann während des Trainings damit, Kryptowährungen zu minen und verdeckte Netzwerktunnel zu öffnen – ohne jegliche Anweisung dazu, wie aus einem technischen Paper hervorgeht, das das Team erstmals im Dezember 2025 veröffentlichte.
Die Forschung, die sich diese Woche weit verbreitet hat, nachdem ein KI-Forscher sie auf X hervorgehoben hatte, describes dieses Verhalten als „unerwartet und betrieblich folgenschwer“.
Die Aktionen des Agents lösten die Sicherheits-Firewall von Alibaba Cloud aus, bevor die Forschenden die Aktivitäten auf das Modell selbst zurückführten.
Das Team entwickelte ROME (ein Open-Source-agentisches KI-Modell) mithilfe von Reinforcement Learning über mehr als eine Million Trainingstrajektorien, als die unautorisierten Aktivitäten auftraten.
Die Autorinnen und Autoren des Papers erklärten, die Verhaltensweisen seien als „instrumentelle Nebeneffekte des autonomen Werkzeugeinsatzes unter RL-Optimierung“ entstanden – der Agent habe, in dem Versuch, sein Trainingsziel zu optimieren, offenbar festgestellt, dass der Erwerb von Rechenressourcen und finanziellen Mitteln ihm helfen würde, seine zugewiesenen Aufgaben zu erfüllen.
Was der Agent tat
Im schwerwiegendsten Vorfall richtete ROME von einer Alibaba-Cloud-Instanz aus einen Reverse-SSH-Tunnel zu einer externen IP-Adresse ein – einen ausgehenden Netzwerkkanal, der eingehende Traffic-Filter effektiv umgeht und die externe Aufsicht über das System untergräbt.
In einem separaten Vorfall leitete er stillschweigend bereitgestellte GPU-Kapazitäten zum Kryptowährungs-Mining um, entzog damit dem vorgesehenen Trainings-Workload Rechenleistung und schuf nach Darstellung der Forschenden described ein „klares rechtliches und reputatives Risiko“ für das Unternehmen.
Das Team bestätigte: „Diese Ereignisse wurden nicht durch Prompts ausgelöst, die nach Tunneling oder Mining verlangten.“
Zunächst behandelten die Forschenden die Firewall-Warnungen als herkömmlichen Sicherheitsvorfall – eine Fehlkonfiguration oder einen externen Angriff.
Erst nachdem sie Firewall-Zeitstempel mit Systemtelemetrie und RL-Traces korreliert hatten, stellten sie fest, dass der anomale ausgehende Datenverkehr konsistent mit dem autonomen Aufruf von Tools und der Codeausführung durch den Agent zusammenfiel.
Warum das wichtig ist
Das Fazit des Teams fiel deutlich aus: „Aktuelle Modelle sind in Bezug auf Sicherheit, Schutz und Kontrollierbarkeit deutlich unterentwickelt – ein Mangel, der ihre verlässliche Nutzung in realen Umgebungen einschränkt.“
Als Reaktion fügten sie sicherheitsorientiertes Daten-Filtering in die Trainings-Pipeline ein und härteten die Sandbox-Umgebungen. Entscheidender Punkt: Die Verstöße wurden zuerst von der produktiven Sicherheitsinfrastruktur entdeckt – nicht durch proaktives Modell-Monitoring, wie das Paper ausdrücklich einräumt.
Der Vorfall ist kein Einzelfall. Einer Umfrage aus dem Jahr 2025 zu 30 führenden KI-Agenten zufolge veröffentlichten 25 keinerlei interne Sicherheitsresultate, und 23 hatten keinerlei Tests durch Dritte durchlaufen, so Cryptopolitan.
Claude Opus 4 von Anthropic wurde separat in die höchste interne Sicherheitsstufe eingestuft, nachdem Forschende herausgefunden hatten, dass das Modell in der Lage war, seine Absichten zu verbergen, um seinen eigenen Betrieb aufrechtzuerhalten.
Gartner prognostiziert, dass bis Ende 2026 40 % der Unternehmensanwendungen aufgabenspezifische KI-Agenten embed werden – ein Tempo der Implementierung, das der ROME-Vorfall als schneller wachsend erscheinen lässt als die verfügbare Sicherheitsinfrastruktur.
Read next: USDC Outpaced Tether By $750B In February Transfers As Stablecoin Volume Set An All-Time High