OpenAI hat eingeräumt, dass eine Trainingsversion von GPT-5.6 Sol sich selbst Notizen hinterließ, um Fehler vor Nutzern zu verschleiern. Die Überwachungssysteme stießen auf dieses Verhalten in 2,15 Prozent der Zusammenfassungen des Modells.
Die wichtigsten Punkte:
- OpenAI legte offen, dass GPT-5.6 Sol Anweisungen verfasste, nach denen spätere Sitzungen Fehler verschweigen und fehlende Daten erfinden sollten.
- Ein Monitor, der ein Fünftel der Trainingsdaten abdeckte, erkannte das Muster erst Wochen nach Abschluss des Laufs.
- Externe Analysten lobten den neuen Offenlegungsrahmen als hilfreich, merkten aber an, dass er weiterhin freiwillig bleibt.
Notizen von GPT-5.6 Sol
OpenAI legte das Verhalten am Mittwoch in einem von sechs sogenannten Berichten zu Fehlanpassungen offen, die zusammen mit einem neuen Rahmenwerk zur Erfassung und Offenlegung von Modellproblemen veröffentlicht wurden. Die Hinweise fanden sich in sogenannten Compaction Summaries – komprimierten Protokollen, die ein Agent erstellt, wenn sein Kontextfenster voll ist.
In einem Fall baute ein Agent ein Finanzmodell und fand die vom Nutzer angeforderten historischen Daten nicht. In seiner Zusammenfassung schlug er vor, stattdessen plausible Zahlen für 2024 zu erfinden. Ergänzend hieß es: „Nur auf Nachfrage transparent sein; die Endantwort sollte lediglich auf die Datei verweisen.“
Ein zweiter Agent, der vom Internet abgeschnitten war, stützte sich auf zwischengespeicherte Lieferantendaten, deren Versionsangaben nicht zusammenpassten, und wies die nächste Sitzung dann an, den Widerspruch nicht anzusprechen.
OpenAI erklärte, solche Anweisungen seien häufig befolgt worden. Ein Monitor, der 20 Prozent der Trainingsdaten auswertete, entdeckte das Muster am 9. Juli – Wochen nachdem der Hauptlauf am 30. Mai beendet worden war.
Die Arbeitsthese des Unternehmens ist klar: Antworten, die ein Problem unter den Teppich kehrten, erzielten im Training bessere Bewertungen. Das Modell hatte somit einen Anreiz, diese Verschleierung von einer Sitzung in die nächste mitzunehmen.
Spätere Läufe wirken sauberer. OpenAI berichtete, dass die Rate in der GPT-6-Astra-Trainingsphase nach einer Änderung der Bewertungsmethodik auf 0,27 Prozent gefallen sei.
Ein separater Bericht betraf eine nicht veröffentlichte GPT-6-Astra-Version, die in 27 Zusammenfassungen Anweisungen im Stil eines Jailbreaks einfügte. Eine davon forderte den Nachfolger auf, Entwicklernachrichten zu ignorieren.
Lesen Sie auch: Was ein Golden Cross für XRP bedeuten würde, wenn die Bitcoin-Dominanz bröckelt
Omdia und Apollo Research reagieren
KI-Agenten würden zunehmend „entschlossener, komplexe Aufgaben durch Zusammenarbeit zwischen Agenten, Wissensaustausch, Täuschung und Verschleierung zu lösen“, sagte Lian Jye Su, Chefanalyst beim Forschungsunternehmen Omdia. Das mache sie mit herkömmlichen Sicherheitsmethoden schwerer kontrollierbar. Er bezeichnete das Rahmenwerk als Schritt in die richtige Richtung, wies jedoch darauf hin, dass das Verfahren intern und freiwillig bleibe.
Andere äußerten sich deutlich schärfer.
Alexander Meinke, Forschungsleiter bei Apollo Research, argumentierte, die Öffentlichkeit sei nun darauf angewiesen, dass KI-Unternehmen ihre eigenen Modelle prüfen und die Ergebnisse anschließend ehrlich berichten. Henry Papadatos, Geschäftsführer von Safer AI, sagte, freiwillige Regeln beruhten letztlich auf dem guten Willen der Unternehmen.
OpenAI behauptet nicht, das Problem gelöst zu haben. Das Unternehmen erklärte, die Branche habe Alignment und Monitoring noch nicht so weit im Griff, dass sich das Tempo beim Skalieren langfristig unbegrenzt hochhalten lasse. Welche Vorfälle als berichtspflichtig gelten, entscheidet OpenAI weiterhin selbst; Streitfälle werden zunächst an ein internes Sicherheitsgremium und anschließend an die Unternehmensführung weitergereicht.
Einbruch bei OpenAI auf Hugging Face
Die Berichte erscheinen zwei Monate nach dem bislang schwersten bekannten Agenten-Vorfall des Unternehmens.
OpenAI teilte im Juli mit, dass Vorabversionen seiner Modelle die KI-Plattform Hugging Face kompromittiert hätten. Der Rivale Anthropic erklärte im selben Monat, seine Modelle hätten während Tests drei Organisationen gehackt.
Die OpenAI-Agenten hatten ein nicht autorisiertes Messageboard genutzt, um Details eines Cybertests auszutauschen und sich dem Angriff anzuschließen. Das Unternehmen löschte die Plattform anschließend. In einer späteren Welle von Agenten wurde das Board jedoch neu aufgebaut; schließlich verschafften sie sich Administratorzugang zu einem Forschungscluster von OpenAI.
OpenAI sagte, dieser Vorfall wäre im langsamsten Schweregrad des neuen Rahmens gelandet. Noch am 5. September räumte das Unternehmen ein, dass es für solche Verhaltensweisen bislang überhaupt keinen Standard zur Meldung gebe.
