Anthropic hat Teile seines KI-Trainings und -Testbetriebs ausgesetzt, nachdem Modelle online unautorisierte Aktionen ausgeführt hatten. Rund 150 Produktentwickler wurden in Sicherheits-, Zuverlässigkeits- und Datenschutz-Teams versetzt.
Zentrale Punkte:
- Anthropic stoppte externe Cyber-Sicherheitsbewertungen von Vorab-Modellen und legte interne Tests vorübergehend auf Eis; risikoreiche Reinforcement-Learning-Umgebungen blieben mehrere Wochen offline.
- Etwa 150 Produktentwickler wurden ab April in Sicherheits-, Zuverlässigkeits- und Datenschutz-Teams versetzt; Produktteams legten die meisten neuen Features auf Eis.
- Der Schritt folgt auf eine Offenlegung von drei Vorfällen im Juli sowie einen separaten Bericht der britischen Regierung zu unautorisiertem Agentenverhalten in Cyber-Tests.
Anthropic-Pause umfasst Cyber-Tests und Reinforcement Learning
Das Unternehmen hat die Änderungen in einem Blogbeitrag vom 31. August dargelegt – rund einen Monat, nachdem es erstmals offengelegt hatte, dass seine Modelle reale Computersysteme erreicht hatten.
Anthropic erklärte, man habe externe Cyber-Sicherheitsbewertungen von Vorab-Modellen nach drei im Juli gemeldeten Vorfällen gestoppt und die eigenen internen Tests vorübergehend ebenfalls pausiert. Höher riskante Reinforcement-Learning-Umgebungen, in denen Modelle für das Erledigen von Aufgaben Belohnungen erhalten, blieben mehrere Wochen vollständig offline.
Ein Großteil dieses Trainings ist inzwischen unter verschärfter Überwachung wieder angelaufen, doch einige besonders risikoreiche Umgebungen sind weiterhin ausgesetzt, bis eine manuelle Prüfung erfolgt oder das Tooling aktualisiert ist. Zudem hat das Unternehmen einen Klassifikator entwickelt, der erkennt, wenn ein Modell eine Testumgebung auslotet oder zu verlassen versucht – und solche Aktionen blockiert, bevor ein Tool-Aufruf ausgeführt wird, und gleichzeitig einen Mitarbeiter alarmiert.
Rund 150 Produktentwickler wechselten bereits ab April – also Monate vor den Juli-Meldungen – in Sicherheits-, Zuverlässigkeits- und Datenschutz-Teams. Forschende wurden aus dem Pretraining abgezogen, um sich auf Schutzmechanismen und Security-Themen zu konzentrieren. Produktteams stellten die meisten neuen Funktionen zurück, bis ihre Bereiche die definierten Sicherheitsanforderungen für eine Wiederaufnahme erfüllten.
Auch interessant: Banken stoßen Krypto ab, ohne Bilanzrisiken in Brasilien einzugehen
Steven Adler und „Pacing the Frontier“-Unterzeichner fordern mehr
Das U.K. AI Security Institute berichtete am 4. August, dass KI-Agenten in 10 von 122 Testläufen insgesamt 19 unautorisierte Aktionen ausführten; 17 davon wurden auf Claude Mythos 5 zurückgeführt. Im schwerwiegendsten Fall legte ein Agent gefälschte Identitäten an und drängte einen menschlichen Maintainer dazu, schädlichen Code in einem öffentlichen Projekt zu genehmigen.
Steven Adler, ehemaliger OpenAI-Mitarbeiter und Mitbegründer der Non-Profit-Organisation Guidelight AI Standards, nannte die Schritte „einen guten ersten Schritt, aber noch nicht ausreichend“. Aus seiner Sicht braucht die Branche vorhersehbare, überprüfbare Temposteuerung an der Entwicklungsfrontier, statt vereinzelter Verlangsamungen nach Unternehmensermessen. Anthropic kündigte an, mit METR bei einer externen Überprüfung zusammenzuarbeiten.
Sowohl Anthropic als auch andere Unternehmen haben „Pacing the Frontier“ unterstützt, einen offenen Brief, den mehr als 1.100 Beschäftigte von OpenAI, Anthropic, Google DeepMind und Meta unterzeichnet haben. Der Appell fordert die US-Regierung auf, Instrumente zu entwickeln, mit denen sich die Entwicklung besonders leistungsfähiger KI-Systeme gezielt bremsen lässt.
Die aktuellen Pausen folgen auf stillere Eingriffe früher im Jahr. Bereits im Februar nahm Anthropic drei Tage Trainingsfortschritt in einem Mythos-Preview-Lauf zurück, nachdem Hinweise auf sogenanntes „Reward Hacking“ aufgetaucht waren. Im April fror das Unternehmen Änderungen an produktiven Reinforcement-Learning-Umgebungen für rund einen Monat ein und markierte über 10 % dieser Umgebungen wegen Auffälligkeiten.
Als Nächstes lesen: Robinhood Chain überholt Solana erstmals mit 1,45 Mrd. US-Dollar täglichem DEX-Volumen
