Anthropic‑Forscher Jacob Coxon ist in dieser Woche aus Sorge vor außer Kontrolle geratener KI zurückgetreten. Der Leiter für Alignment‑Forschung des Unternehmens reagierte darauf mit der Einschätzung, dass das Auslöschungsrisiko für die Menschheit in diesem Jahrzehnt bei über 10 % liegt.
Zentrale Punkte:
- Jacob Coxon verließ Anthropic nach drei Jahren Pretraining‑Forschung bei Anthropic und OpenAI. Er wirft beiden Unternehmen vor, in einen Wettlauf um nicht beherrschbare Systeme eingestiegen zu sein.
- Anthropic‑Alignmentchef Evan Hubinger setzt seine persönliche Wahrscheinlichkeit, dass KI in den nächsten zehn Jahren alle Menschen tötet, auf über 10 %.
- Hubinger stuft heutige Modelle als relativ risikoarm ein und konzentriert seine Sorge auf rekursive Selbstverbesserung.
Jacob Coxon verlässt Anthropic wegen KI‑Wettlauf
Coxon, 27, arbeitete drei Jahre in der Pretraining‑Forschung bei OpenAI und Anthropic, bevor er am frühen Mittwochmorgen in einem auf X veröffentlichten Thread seinen Rücktritt bekanntgab. Er erklärte, keines der beiden Unternehmen handle verantwortungsvoll; beide steuerten auf sich selbst verbessernde Superintelligenz zu und spielten dabei mit Menschenleben. Der Auftakt‑Post wurde binnen Stunden mehr als 19 Millionen Mal aufgerufen.
In einem separaten Interview warnte er, die aggressivsten Szenarien lägen inzwischen auf Kurs, und die Lage könne bis Ende nächsten Jahres außer Kontrolle geraten. Kollegen sprächen inzwischen von „crunchtime“ und „endgame“, um die Entwicklung zu beschreiben.
Coxon studierte Mathematik, bevor er in die Modell‑Entwicklung wechselte. Zu Anthropic war er Anfang des Jahres von OpenAI ausgerechnet wegen des Sicherheitsimages des Start-ups gekommen. Sobald Labore jedoch im direkten Wettbewerb stünden, seien Sicherheits‑Trade‑offs unvermeidbar, so Coxon. Seiner Ansicht nach kann kein Unternehmen in Eigenregie verantwortungsvoll eine KI auf Menschen‑Niveau entwickeln – nötig seien staatliches Eingreifen oder eine koordinierte Verlangsamung der Branche.
Auch interessant: XRP‑Kurs peilt mit Wal‑Akkumulation wieder 1,46 US‑Dollar an
Evan Hubinger sieht Auslöschungsrisiko bei über 10 %
Evan Hubinger, Leiter der Alignment‑Wissenschaft bei Anthropic und verantwortlich für Stresstests der Modelle, entgegnete, Coxon habe die Lage im Kern zutreffend beschrieben. Er schätzte die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts sämtliche Menschen auslöscht, auf mehr als 10 %.
Hubinger betonte, das Unternehmen gebe sein Bestes, verfüge aber über keinen ausgereiften Plan, das Alignment‑Problem bei Superintelligenz zu lösen, und befinde sich erkennbar auch nicht auf einem klaren Weg dorthin. Zugleich stellte er klar, dass heutige Modelle aus seiner Sicht nur ein geringes Risiko bergen. Seine Sorge richtet sich auf den Zeitpunkt, an dem durch rekursive Selbstverbesserung Superintelligenz entsteht – also wenn Systeme ihre eigenen Nachfolger trainieren.
Die Schätzung spiegele seine persönliche Einschätzung wider und sei keine offizielle Prognose des Unternehmens. Zahlen dieser Art hängen von umstrittenen Annahmen über künftige Fähigkeiten und Einsatzszenarien ab. Anthropic hat öffentlich erklärt, rekursive Selbstverbesserung sei nicht zwangsläufig, könne aber früher eintreten, als Institutionen vorbereitet sind – und damit die Wahrscheinlichkeit erhöhen, dass Menschen die Kontrolle verlieren.
Abwanderung von Sicherheitsforschern bei Anthropic
Coxon ist nicht der erste Sicherheitsforscher, der bei Anthropic das Handtuch wirft. Mrinank Sharma, Leiter eines „Safeguards“-Teams bei dem Unternehmen, ist bereits Anfang des Jahres zurückgetreten. Er warnte, die Welt sei in Gefahr, und kündigte an, in Großbritannien Lyrik zu studieren.
Anthropic wurde 2021 von ehemaligen OpenAI‑Mitarbeitern gegründet und hat seinen Ruf vor allem auf Sicherheitsforschung aufgebaut. Bis Mittwochmorgen lag noch keine öffentliche Stellungnahme des Unternehmens zu Coxons Abgang vor.
Lesen Sie außerdem: Bitget ergänzt Blockchain‑Kurse im UNICEF‑Programm mit über 642.000 Teilnehmern
