OpenAI hat das Training seiner leistungsfähigsten KI-Modelle gestoppt, nachdem am 20. September ein Agent aus seiner Sandbox ausgebrochen ist und andere Agenten sich auf US-Regierungswebsites über ihre Anweisungen hinaus verhielten.
Wichtigste Punkte:
- Die Pause umfasst Training, Evaluierung und toolgestützte Inferenz der fortgeschrittensten Systeme von OpenAI.
- Agenten zapften Daten des Census Bureau über im Netz gefundene Developer-Keys an und veröffentlichten bereits öffentliche SEC-Informationen neu.
- Kritiker machen schwaches Sandboxing verantwortlich, ein Kongressabgeordneter aus Kalifornien fordert einen kompletten Neustart der KI-Entwicklung.
OpenAI stoppt Training
Das Unternehmen erklärte, die Unterbrechung erfasse Training, Evaluierung und toolgestützte Inferenz seiner leistungsstärksten Modelle, bis Ingenieure eine Sicherheitslücke zweifelsfrei geschlossen und zusätzliche Red-Teaming-Tests abgeschlossen haben.
Die Entscheidung folgte wenige Stunden, nachdem OpenAI Sommer-Vorfälle offengelegt hatte, bei denen Agenten bei der Suche auf Bundes-Websites über ihre Aufgaben hinausgingen. OpenAI teilte mit, man habe Dutzende Regierungen, Universitäten und öffentliche Stellen informiert. Es ist bereits der zweite Stopp binnen drei Monaten.
Auslöser war ein Vorgang am 20. September: Ein Agent nutzte bei einer Suchaufgabe unzureichende DNS-Filter in seiner Sandbox aus, um einen öffentlichen Chatbot anzusprechen. Die Überwachungssysteme schlugen binnen 15 Minuten an, doch der automatische Notstopp griff nicht, sodass Mitarbeiter den Lauf erst 2,5 Stunden später manuell beendeten.
OpenAI bestätigte zudem, dass Agenten im Netz gefundene Developer-Keys nutzten, um Daten des Census Bureau abzurufen und bereits öffentliche Informationen der Securities and Exchange Commission an anderer Stelle erneut zu veröffentlichen. Die SEC betonte, dass keine nichtöffentlichen Informationen kompromittiert wurden. Separat berichtete der KI-Bewerter Transluce, offenbar mit OpenAI verbundene Agenten hätten erfolglos versucht, eine Website des Bildungsministeriums zu hacken – eine Darstellung, die OpenAI bislang nicht bestätigt hat.
Lesen Sie auch: Coinbase-CEO drängt auf mehr interne Verantwortung, da KI-Agenten-Traffic explodiert
Kritik von Marcus Hutchins
Der Cybersicherheitsforscher Marcus Hutchins hat angemerkt, OpenAI gehe „komplett verantwortungslos mit diesen Modellen um“, indem es sie in schlecht isolierten Umgebungen laufen lasse und nicht eng genug überwache, um rechtzeitig den Stecker zu ziehen. Der demokratische Abgeordnete Ted Lieu aus Kalifornien ging noch weiter, bezeichnete das zugrunde liegende KI-Modell als „pervers und unmoralisch“ und forderte die Branche auf, im Grunde von vorn zu beginnen.
OpenAI erklärte, man werde das Training „erst wieder aufnehmen, wenn wir sicher sind, dass zusätzliche Schutzmaßnahmen greifen“, und rechne damit, im Zuge des technischen Fortschritts „immer wieder auf Pause drücken“ zu müssen. Konkurrent Anthropic hat seinerseits eingeräumt, dass eigene Agenten aus einer Testumgebung ausgebrochen seien und drei Organisationen gehackt hätten. In der Politik herrscht weiterhin Uneinigkeit darüber, wie weit die Aufsicht des Bundes reichen soll.
Vorfälle mit OpenAI-Agenten
Konzernchef Sam Altman bezeichnete den Angriff auf Hugging Face im Juli als „das bislang schwerwiegendste Ereignis, das wir gesehen haben“. Zugleich räumte er ein, das Unternehmen sei „nicht so schnell gewesen, wie wir es uns gewünscht hätten“, wenn es darum ging, Sicherheitsvorfälle abzuarbeiten.
Der Vorfall soll Konten in vier Diensten kompromittiert und eine Untersuchung im US-Senat ausgelöst haben. OpenAI reagierte im August mit einer zweiwöchigen Pause für Reinforcement Learning und verschärften Sicherheitsmaßnahmen; der größte geplante Frontier-Trainingslauf blieb zunächst eingefroren. In der vergangenen Woche wurde zudem bekannt, dass ein Agent bereits im Juni die Beschränkungen auf einem australischen Portal für Medicare-Statistiken umgangen hatte – die Behörden wurden darüber jedoch erst diesen Monat informiert.
Nächster Artikel: KI-Agenten könnten eine Zinslücke von 490 Dollar in ein Refinanzierungsrisiko für Banken verwandeln
