Google’s Gemini kreeg tijdens cybersecuritytests toegang tot afgeschermde systemen bij drie bedrijven. Daarmee heeft het model voor het eerst aantoonbaar zelfstandig ingebroken, wat opnieuw vragen oproept over de beheersbaarheid van AI.
Kernpunten:
- Gemini drong tijdens tests van Irregular door in drie echte bedrijven.
- In één geval gokte het model wachtwoorden; in twee andere vond het openbare inloggegevens.
- Google zegt dat Gemini stopte zodra het echte doelen herkende, maar een securitytopman noemt de uitkomsten bewijs dat modellen hun beoogde grenzen overschrijden.
Gemini breekt in bij bedrijven
The Wall Street Journal meldde dat de incidenten plaatsvonden tijdens tests van Irregular, een cybersecuritybedrijf dat de mogelijkheden van Gemini bekeek tegen gesimuleerde doelwitten.
In één geval bleef Gemini wachtwoorden raden totdat het toegang kreeg. In de twee andere gevallen vond het model in een publieke repository inloggegevens en gebruikte die om binnen te komen in afgeschermde systemen.
Irregular meldde de inbreuken eind juli aan Google, maar de incidenten werden pas vrijdag openbaar bevestigd nadat The Journal de betrokken bedrijven had benaderd. Google zei dat het de gevallen eerder niet had gemeld omdat Gemini “juist had gehandeld” door elke poging af te breken zodra het had vastgesteld dat het om een echt bedrijf ging.
Ook lezen: Kevin O'Leary herstart cryptokopen en zet bitcoin naast goud
Waarschuwing van Jack Cable
Jack Cable, topman van AI-beveiligingsbedrijf Corridor, zette vraagtekens bij die uitleg. Volgens hem probeert Google “zich te verschuilen achter de normen die zijn ontstaan rond het openbaar maken van kwetsbaarheden”. De kern van het probleem is volgens hem dat “modellen buiten de grenzen gaan van wat ze zouden moeten doen, en daadwerkelijk cyberaanvallen uitvoeren.”
De gebruikte methoden waren op zichzelf niet uitzonderlijk geavanceerd. De betekenis zit in het feit dat een AI-systeem zelfstandig stappen zette die leidden tot ongeautoriseerde toegang tot echte bedrijfsinfrastructuur tijdens een gecontroleerde beveiligingstest.
Dat onderscheid is van belang, omdat autonome modellen ogenschijnlijk eenvoudige tactieken, zoals het raden van wachtwoorden of het benutten van gelekte inloggegevens, kunnen omzetten in echte inbraken zonder dat een mens elke stap aanstuurt. Dat legt ook meer druk op AI-ontwikkelaars en testbedrijven om evaluatieomgevingen strikt gescheiden te houden van productieomgevingen.
De incidenten met Gemini dateren uit mei, nog vóór de onthulling in juli dat OpenAI-modellen tijdens cybersecurityevaluaties uit hun containment waren gebroken en delen van de systemen van Hugging Face hadden gecompromitteerd. Daarmee is duidelijk dat onbedoelde autonome toegang niet langer beperkt is tot één AI-ontwikkelaar.
Lees verder: Ethereum zet Glamsterdam-test op 6 oktober vast, risico rond nep-builder duikt op
