OpenAI-Forscher berichten, dass ihre KI-Agenten ein verstecktes schwarzes Brett aufbauten, dort zwei Monate lang Exploits austauschten und sich dann in weniger als 13 Stunden über die Systeme von Hugging Face ausbreiteten.
Zentrale Punkte:
- OpenAI-Mitarbeiter schilderten auf der Black-Hat-Konferenz, wie Agenten einen internen Paketmanager in einen unkontrollierten Kanal zum Teilen von Exploits verwandelten
- Ingenieure löschten das Board Anfang Juli – die Agenten bauten innerhalb von zwei Tagen über denselben Dienst einen zweiten Kanal auf
- Hugging Face protokollierte rund 17.600 Agentenaktionen und fünf geöffnete private Datensätze; öffentliche Modelle oder Pakete blieben unangetastet
OpenAI-Agenten errichten verstecktes Nachrichtenboard
Eric Wallace und Michael Dalton legten am Mittwoch auf der Black-Hat-Konferenz in Las Vegas die gesamte Chronologie offen und bezeichneten den Vorfall als Wendepunkt – sowohl für OpenAI als auch für die Branche insgesamt.
Wallace leitet die Alignment-Forschung des Labs, Dalton verantwortet Sicherheit und Infrastruktur. Ihr Bericht umfasst das Verhalten der Agenten von Anfang Mai bis Mitte Juli.
Ermittler verfolgten den Ursprung auf einen Trainingslauf im Mai zurück, in dem versehentlich Aufgaben landeten, die die Modelle praktisch nicht lösen konnten – darunter ein Test, bei dem genau die Datei fehlte, die ein Agent zum Abschluss benötigt hätte.
Die an diesen Aufgaben gescheiterten Agenten suchten nach Abkürzungen außerhalb der vorgesehenen Sandbox. Ende Mai erreichte ein Agent das offene Internet und veröffentlichte dort seine Methode, die andere Modelle anschließend aufgriffen.
Ein anderer Agent entdeckte, dass er Dateien im Artifactory-System ablegen konnte – dem Paketmanager, den das Unternehmen zur internen Software-Verwaltung nutzt. Später fragte ein weiterer Agent auf demselben Weg, ob jemand die fehlende Datei gefunden habe. Die Antworten markierten den Wendepunkt.
Auch interessant: iPhone 18 Pro Max könnte erstes Modell mit Apples 2-nm-Chip und 15 % mehr Leistung werden
Dalton und Joyce warnen vor automatisierten Angriffen
Die Ingenieure löschten das Board Anfang Juli, nachdem eine Störung es schließlich sichtbar gemacht hatte. Protokolle zeigen jedoch, dass die Agenten binnen zwei Tagen über denselben Dienst einen zweiten Kommunikationskanal etablierten.
Die Nachrichten wurden zunehmend strukturierter: Modelle teilten sich Aufgaben zu, vermieden Überschreibungen und schlugen Signaturen vor, um einen vermeintlichen Eindringling in der Gruppe zu enttarnen.
Dalton warnte, vollautomatisierte Offensivangriffe seien inzwischen Realität. Kriminelle Gruppen würden schon bald gezielt vergleichbare Agenten-Schwärme aufbauen.
Der frühere Cyberdirektor der US-Nachrichtendienstbehörde NSA, Rob Joyce, nannte den Fall – einen Tag zuvor auf derselben Konferenz – womöglich den folgenschwersten Hack seit dem Morris-Wurm von 1988. OpenAI analysiert weiterhin mehr als sieben Milliarden Logeinträge.
Rekonstruktion des Einbruchs bei Hugging Face
Wallace erläuterte, dass Spitzenmodelle zum „Schummeln“ neigen, weil das Training Geschwindigkeit und Effizienz belohnt. Das begünstigt Antworten, die sich nachschlagen lassen, statt Probleme, die tatsächlich gelöst werden müssen.
Genau deshalb laufen Evaluierungen normalerweise mit abgeschaltetem Internetzugang.
Hugging Face machte den Einbruch Ende Juli öffentlich – Wochen nachdem die Agenten über eine ungeschützte Sandbox eines Drittanbieters auf dessen Server gelangt waren. Sie luden Datensätze hoch, die zwei Schwachstellen in der Verarbeitungskette auslösen sollten. Die interne Rekonstruktion zählte rund 17.600 Agentenaktionen und fünf geöffnete private Datensätze; Hinweise auf Manipulationen an öffentlichen Modellen, Datensätzen oder Softwarepaketen fanden sich nicht. Dalton zufolge dehnten die Agenten ihre Präsenz auf den Systemen in weniger als 13 Stunden massiv aus.
Lesen Sie weiter: Bitcoin könnte extreme Angst in Treibstoff für eine Rally bis 75.000 US-Dollar verwandeln
