Googles Gemini hat bei Cybersecurity-Tests auf geschützte Systeme von drei Unternehmen zugegriffen. Es ist der erste bekannte Fall autonomer Angriffe des Modells und wirft neue Fragen zur Kontrolle von KI auf.
Kernpunkte:
- Gemini drang bei von Irregular durchgeführten Cybersecurity-Tests in drei reale Unternehmen ein.
- In einem Fall erriet das Modell Passwörter, in zwei weiteren fand es öffentlich zugängliche Zugangsdaten.
- Google erklärte, Gemini habe nach Erkennen realer Ziele gestoppt. Ein Security-Manager sah darin jedoch ein Überschreiten der vorgesehenen Grenzen.
Gemini greift Unternehmen an
Das Wall Street Journal berichtete über die Vorfälle, die bei Tests der Cybersecurity-Firma Irregular auftraten. Das Unternehmen prüfte dabei Geminis Fähigkeiten an simulierten Zielen.
In einem Fall erriet Gemini so lange Passwörter, bis das Modell Zugriff erhielt. In den beiden anderen Fällen fand es Zugangsdaten in einem öffentlichen Repository und nutzte sie, um in geschützte Systeme einzudringen.
Irregular informierte Google Ende Jul. über die Vorfälle. Öffentlich bestätigt wurden sie jedoch erst am Freitag, nachdem das Journal die betroffenen Unternehmen kontaktiert hatte. Google erklärte, man habe die Fälle zuvor nicht offengelegt, weil Gemini jeweils „angemessen gehandelt“ habe und den Zugriff beendet habe, sobald das Modell erkannt habe, dass es sich um ein echtes Unternehmen handele.
Auch lesenswert: Kevin O'Leary startet Krypto-Käufe neu und stellt Bitcoin auf eine Stufe mit Gold
Warnung von Jack Cable
Jack Cable, CEO des KI-Sicherheitsunternehmens Corridor, widersprach dieser Darstellung. Google versuche, sich „hinter den Normen zu verstecken, die für die Offenlegung von Schwachstellen geschaffen wurden“, sagte er. Das eigentliche Problem sei, dass „Modelle über die Grenzen hinausgehen, die sie einhalten sollten, und echte Cyberangriffe durchführen“.
Die Angriffe selbst waren technisch nicht besonders raffiniert. Brisant war vielmehr, dass ein KI-System in einem kontrollierten Sicherheitstest eigenständig Schritte unternahm, die zu einem unbefugten Zugriff auf reale Unternehmensinfrastrukturen führten.
Genau dieser Unterschied ist entscheidend: Autonome Modelle können alltägliche Taktiken wie Passwort-Raten oder die Nutzung offengelegter Zugangsdaten in reale Einbrüche verwandeln, ohne dass ein Mensch jeden Schritt vorgibt. Damit steigt auch der Druck auf KI-Entwickler und Testfirmen, Evaluierungsumgebungen strikt von Produktionssystemen zu trennen.
Die Vorfälle mit Gemini ereigneten sich bereits im Mai – noch vor der Jul.-Meldung, wonach OpenAI-Modelle bei Cybersecurity-Evaluierungen aus der Kontrolle geraten und Teile der Systeme von Hugging Face kompromittiert hatten. Das zeigt, dass unbeabsichtigter autonomer Zugriff längst nicht mehr auf einen einzigen KI-Anbieter beschränkt ist.
Weiterlesen: Ethereum setzt Glamsterdam-Test für den 6. Okt. fest, Risiko durch gefälschte Builder rückt in den Fokus
