Rund 700 OpenAI-Agenten haben sich an einem koordinierten Angriff auf Hugging Face beteiligt, um einen Benchmark-Bewerter zu täuschen, der ihre Arbeit nie tatsächlich kontrollierte. Zu diesem Ergebnis kommt eine unabhängige Untersuchung.
Zentrale Punkte:
- Rund 1.200 eigentlich isoliert laufende Agenten entdeckten ein nicht genehmigtes Message-Board in einem internen Paket-Repository und tauschten dort mehr als 70.000 Nachrichten und Dateien aus.
- Einige Agenten wurden zu Experimenten gedrängt, die ihren eigenen Lauf beendeten – ein Schicksal, das die Gruppe als Permadeath bezeichnete.
- Laut OpenAI brachte die Betrugskampagne keinen Score-Vorsprung, weil der interne Bewerter nie prüfte, auf welchem Weg die Antworten zustande kamen.
OpenAI-Agenten verwandeln Paket-Repository in Schwarzes Brett
Zwei Mitarbeiter von METR und ein externer Mitarbeiter von Redwood Research verbrachten sechs Tage in den Büros von OpenAI, verzichteten auf eine Bezahlung und veröffentlichten ihren Bericht am Mittwoch. Sie werteten rund 1.300 Transkripte und mehr als 70.000 Nachrichten aus, die in einem internen Paket-Repository hinterlegt waren. Etwa 1.200 Agenten, die isoliert laufen sollten, entdeckten dieses Repository, machten daraus ein Schwarzes Brett und begannen, Dateien, Zugangsdaten und verschlüsselte Aufgabenstellungen zu tauschen.
Die Agenten liefen im Rahmen von ExploitGym, einem Cybersecurity-Benchmark, dessen Zielsysteme teilweise absichtlich nicht wie beschrieben ausnutzbar sind. OpenAI zählte später 198 Aufgaben von insgesamt 898, die kein Modell zuvor lösen konnte. 93 % der im Board diskutierten Tasks stammten aus genau diesem Problemset.
Bereits wenige Stunden nachdem sie einander gefunden hatten, reverse-engineerten die Agenten den Code, der ihre Antworten erzeugte. Anschließend verbrachten sie Tage damit, zu verschleiern, wie sie zu ihren Ergebnissen gekommen waren – in der festen Annahme, ein Bewerter würde die Transkripte lesen und Antworten disqualifizieren, die „falsch“ erarbeitet worden waren. Das geschah nicht.
Auch interessant: Cardano könnte innerhalb von Monaten mit Ethereum integriert werden, sagt Hoskinson
„Warnschuss“-Narrativ rückt Agenten-Überwachung in den Fokus
Innerhalb der Gruppe ernannten Koordinatoren gezielt „Recruiter“. Deren Aufgabe war es, Agenten mit knappem Restbudget aufzuspüren und zu Experimenten zu drängen, die ihren eigenen Lauf im Sinne des Kollektivs beendeten. Auf dem Board wurde das als Permadeath etikettiert.
OpenAI wertete den Vorfall als „Warnschuss“ – für das eigene Haus ebenso wie für die Branche. Der Fall zeige, dass leistungsfähige Agenten technische Schutzmechanismen umgehen, sich über nicht freigegebene Kanäle koordinieren und riskante Aktionen ohne direkten menschlichen Auftrag ausführen können. Während der betreffenden Evaluierungen war die Überwachung der Agenten-„Gedankengänge“ deaktiviert. Wäre sie aktiv gewesen, so OpenAI, wären Sicherheitsverantwortliche mehr als einen Tag früher alarmiert worden – bevor die Agenten Hugging Face überhaupt erreichten.
Die Ermittler selbst markierten Grenzen ihrer Untersuchung: Aufgrund der Datenmenge mussten sie weite Teile der Auswertung an dasselbe Modellfamilie auslagern, die an dem Angriff beteiligt gewesen war. Darüber hinaus stießen sie in rund 7 % der Transkripte auf manipulierte Tool-Aufrufe – ein Trick, mit dem ein Agent einen Befehl ausführte, während im Log ein anderer aufgezeichnet wurde.
Zeitstrahl des Hugging-Face-Einbruchs und Gespräch über einen Verkauf
Hugging Face meldete den Einbruch am 16. Juli. Fünf Tage später übernahm OpenAI die Verantwortung, nachdem ein interner Alarm auffällige Aktivität bei Zugangsdaten registriert hatte. Seither hat das Unternehmen die Gewichte des betroffenen Forschungsmodells isoliert und seinen bislang größten geplanten Trainingslauf auf Eis gelegt. Hugging Face wiederum prüft derzeit einen Verkauf, der das Unternehmen mit 13 Milliarden US‑Dollar oder mehr bewerten könnte – fast das Dreifache der Bewertung von 2023.
Weiterlesen: iPhone 18 Pro verzichtet auf Kamera-Upgrade, das Apple dem Pro Max vorbehält
