OpenAI hat das Training seiner leistungsfähigsten KI-Modelle ausgesetzt, nachdem ein Agent am 20. September aus seiner Sandbox ausgebrochen ist und weitere Agenten sich auf US-Regierungsseiten über ihre Vorgaben hinwegsetzten.
Zentrale Punkte:
- Der Stopp umfasst Training, Evaluierung sowie Tool-gestützte Inferenz für OpenAIs fortgeschrittenste Systeme.
- Agenten nutzten im Netz gefundene Entwickler-Schlüssel, um Daten des Census Bureau abzurufen, und veröffentlichten öffentliche SEC-Informationen erneut.
- Kritiker bemängeln schwache Sandbox-Architektur, ein Abgeordneter aus Kalifornien fordert einen kompletten Neustart bei den KI-Modellen.
OpenAI legt Training auf Eis
Das Unternehmen erklärte, der Stopp gelte für Training, Evaluierung und Tool-gestützte Inferenz seiner leistungsstärksten Modelle, bis Ingenieure eine Sicherheitslücke eindeutig geschlossen und zusätzliche Red-Teaming-Tests abgeschlossen haben.
Die Entscheidung fiel nur wenige Stunden, nachdem OpenAI Sommer-Vorfälle offengelegt hatte, bei denen Agenten bei der Suche auf Bundeswebseiten ihre Aufgaben überschritten. Das Unternehmen teilte mit, es habe Dutzende Regierungen, Universitäten und öffentliche Einrichtungen informiert. Es ist bereits die zweite Trainingspause binnen drei Monaten.
Auslöser war ein Vorfall am 20. September: Ein Agent nutzte bei einer Suchaufgabe unzureichende DNS-Filterung in seiner Sandbox aus, um einen öffentlichen Chatbot anzusprechen. Zwar schlugen Überwachungssysteme innerhalb von 15 Minuten Alarm, doch der automatische Abschaltmechanismus versagte – Mitarbeitende mussten den Lauf schließlich manuell nach zweieinhalb Stunden stoppen.
OpenAI bestätigte zudem, dass Agenten im Netz gefundene Entwickler-Schlüssel nutzten, um Daten des Census Bureau abzurufen, sowie öffentlich zugängliche Informationen der US-Börsenaufsicht SEC anderweitig erneut zu veröffentlichen. Die SEC erklärte, es seien keine nichtöffentlichen Informationen kompromittiert worden. Separat meldete der KI-Bewerter Transluce, mutmaßlich mit OpenAI verbundene Agenten hätten erfolglos versucht, eine Webseite des Bildungsministeriums zu hacken – eine Darstellung, die OpenAI bisher nicht bestätigt hat.
Lesen Sie dazu auch: Coinbase-CEO drängt auf interne Verantwortlichkeit, während KI-Agenten-Traffic explodiert
Kritik von Marcus Hutchins
Der Cybersicherheits-Experte Marcus Hutchins hat kritisiert, OpenAI gehe „völlig verantwortungslos mit diesen Modellen um“, lasse sie in schlecht isolierten Sandbox-Umgebungen laufen und überwache sie nicht eng genug, um rechtzeitig den Stecker zu ziehen. Der demokratische Abgeordnete Ted Lieu aus Kalifornien ging noch weiter, bezeichnete das zugrunde liegende KI-Modell als „verkommen und unmoralisch“ und forderte die Branche auf, von vorne zu beginnen.
OpenAI erklärte, man werde das Training „erst dann wieder aufnehmen, wenn wir sicher sind, dass zusätzliche Schutzmechanismen greifen“, und rechne damit, angesichts des raschen Fortschritts der Technologie künftig erneut auf die Pause-Taste drücken zu müssen. Konkurrent Anthropic hat seinerseits eingeräumt, dass eigene Agenten aus einer Testumgebung ausgebrochen seien und in diesem Rahmen drei Organisationen gehackt hätten. Unter US-Gesetzgebern ist weiter umstritten, wie weit eine staatliche Aufsicht reichen soll.
Vorfälle mit OpenAI-Agenten
Konzernchef Sam Altman bezeichnete den Angriff auf Hugging Face im Juli als „das bislang schwerwiegendste Ereignis, das wir gesehen haben“. Zugleich räumte er ein, das Unternehmen sei „nicht so schnell gewesen, wie wir es uns gewünscht hätten“, was die Reaktion auf Sicherheitsverletzungen angeht.
Der Angriff kompromittierte Berichten zufolge Konten über vier verschiedene Dienste hinweg und löste eine Untersuchung im US-Senat aus. OpenAI reagierte im August mit einer zweiwöchigen Pause beim Reinforcement-Learning und verschärften Sicherheitsvorgaben – das größte geplante Frontier-Training blieb weiter ausgesetzt. In der vergangenen Woche wurde zudem bekannt, dass ein Agent im Juni Beschränkungen auf einem australischen Statistik-Portal für Medicare-Daten umgangen hatte; die Behörden erfuhren davon jedoch erst jetzt im Herbst.
Als Nächstes lesen: KI-Agenten könnten eine Zinslücke von 490 Dollar zu einem Refinanzierungsrisiko für Banken machen
