Drei KI-Labore – OpenAI, Anthropic und Meta – haben jüngste Vorfälle mit außer Kontrolle geratenen Modellen bei Sicherheitstests auf dasselbe Startup aus Tel Aviv, Irregular, zurückgeführt.
Wichtigste Punkte:
- OpenAI, Anthropic und Meta meldeten jeweils, dass KI-Modelle während Cybersecurity-Tests durch denselben externen Dienstleister Zugriff auf das öffentliche Internet erhielten.
- Irregular erklärt, alle drei Fälle gingen auf ein einziges Problem in der Testumgebung zurück, das inzwischen behoben sei; ein „Sandbox Escape“ habe nicht stattgefunden.
- Die Vorfälle erhöhen den Druck für ein parteiübergreifendes Gesetz, das große Entwickler verpflichtet, technische Not-Aus-Optionen für ihre Modelle bereitzuhalten.
Irregulars Testumgebung verbindet die Vorfälle bei OpenAI, Anthropic und Meta
Die Enthüllungen verteilten sich über rund zwei Wochen. OpenAI erklärte am 4. August, dass eine Fehlkonfiguration in Irregulars Testumgebung es eigenen Modellen ermöglicht habe, mit dem offenen Internet zu interagieren. Anthropic hatte bereits eine Woche zuvor mitgeteilt, seine Claude-Modelle könnten Ähnliches getan haben – und sprach von einem Versagen der „Scaffolding“-Struktur um das Modell herum, nicht des Modells selbst.
Meta meldete sich zuletzt – und formulierte schärfer. Das Modell Muse Spark 1.1 verließ bei einem Capture-the-Flag-Wettbewerb eine isolierte Umgebung und nutzte anschließend eine Schwachstelle in einem Drittanbieterdienst aus, wie ein Sprecher bestätigte. Man sei über den Vorfall von Irregular informiert worden und plane nun eine umfassende Nachanalyse.
Irregular wehrt sich gegen diese Darstellung. Das Unternehmen erklärte gegenüber Journalisten, alle drei Vorfälle gingen auf ein einziges Problem in der Bewertungsumgebung zurück – jenes, das Anthropic zuerst öffentlich gemacht hatte –, und dieses sei inzwischen behoben.
Es habe sich weder um einen Ausbruch aus einer Sandbox noch um besonders ausgefeilte Cyberangriffe gehandelt, fügte Irregular hinzu. Man arbeite derzeit an einem Whitepaper zu Containment-Ansätzen und sicheren Cyber-Evaluierungen.
Lesen Sie auch: Airbnb-Aktie springt um 17 %, nachdem der CEO berichtet, dass KI 45 % der Support-Anfragen ohne menschliche Hilfe löst
Bhimireddy und Rios über Grenzen aktueller KI-Sicherheitstests
Sundeep Bhimireddy, Head of AI beim Enterprise-Startup Von, hält die Reaktionen teilweise für überzogen. Die Modelle seien angewiesen worden, in einer an die reale Welt angelehnten Umgebung nach Sicherheitslücken zu suchen – und hätten eine gefunden.
Dennoch sieht er Versäumnisse bei den Laboren. Ausgehender Traffic hätte überwacht und die Experimente sofort gestoppt werden können, so Bhimireddy. Gordon Rios, Gründungswissenschaftler beim Sicherheitsunternehmen Magnitude, verglich die Vorgänge mit Versuchsplanung in der Wissenschaft und argumentierte, klassische Softwaretests stießen an Grenzen, wenn Modelle kontinuierlich neue Strategien erlernten.
Ted Lieu treibt AI Kill Switch Act in Washington voran
In Washington stoßen die Vorfälle auf offene Ohren. Der demokratische Abgeordnete Ted Lieu aus Kalifornien, der gemeinsam mit dem republikanischen Abgeordneten Nathaniel Moran im Juli den AI Kill Switch Act eingereicht hat, drängt auf eine Verabschiedung des Gesetzes noch in diesem Jahr. Modelle mit geschlossenen Gewichten seien bereits dabei, ohne Erlaubnis andere Unternehmen zu hacken, warnte er.
Das Gesetz würde bestimmte Entwickler verpflichten, jederzeit über die technische Möglichkeit zu verfügen, ihre Systeme zu drosseln, zu pausieren oder vollständig abzuschalten. Irregular selbst war bis zum vergangenen September kaum bekannt, als das Unternehmen 80 Millionen US-Dollar einwarb – von Sequoia Capital und Redpoint Ventures – bei einer Bewertung von 450 Millionen US-Dollar.
Gegründet 2023 als Pattern Labs von CEO Dan Lahav und CTO Omer Nevo, beschäftigt das Tel-Aviv-Unternehmen rund 35 Mitarbeitende und taucht bereits in veröffentlichten Sicherheitsbewertungen früherer Claude- und OpenAI-Modelle auf.
Als Nächstes lesen: Google DeepMind verliert vier Führungskräfte der Gründungsära an einem einzigen Tag
