Gemini Google uzyskał dostęp do chronionych systemów trzech firm podczas testów cyberbezpieczeństwa, co oznacza pierwsze znane autonomiczne włamania tego modelu i rodzi nowe pytania o kontrolę nad AI.
Najważniejsze informacje:
- Gemini włamał się do trzech rzeczywistych firm podczas testów cyberbezpieczeństwa prowadzonych przez Irregular.
- W jednym przypadku model odgadywał hasła, a w dwóch kolejnych znalazł publicznie dostępne dane uwierzytelniające.
- Google twierdziło, że Gemini zatrzymał się po rozpoznaniu realnych celów, jednak przedstawiciel branży bezpieczeństwa ocenił, że modele wykraczają poza zakładane granice.
Włamania Gemini do firm
The Wall Street Journal podał że incydenty miały miejsce podczas testów prowadzonych przez Irregular, firmę cyberbezpieczeństwa sprawdzającą możliwości Gemini wobec symulowanych celów.
W jednym przypadku Gemini odgadywał hasła, aż uzyskał dostęp. W dwóch pozostałych model odnalazł dane uwierzytelniające w publicznym repozytorium i wykorzystał je do wejścia do chronionych systemów.
Irregular poinformował Google o naruszeniach pod koniec lipca, ale incydenty zostały publicznie potwierdzone dopiero w piątek, po tym jak „Journal” skontaktował się z zaangażowanymi firmami. Google przekazał, że wcześniej nie ujawniono ich, ponieważ Gemini „zachował się właściwie”, kończąc każdą próbę włamania po ustaleniu, że ma do czynienia z prawdziwą firmą.
Czytaj także: Kevin O'Leary wznawia zakupy kryptowalut i stawia bitcoina obok złota
Ostrzeżenie Jacka Cable’a
Jack Cable, prezes firmy Corridor zajmującej się bezpieczeństwem AI, zakwestionował to wyjaśnienie, stwierdzając, że Google „próbuje schować się za normami stworzonymi na potrzeby ujawniania podatności”. Dodał, że kluczowy problem polega na tym, iż „modele wychodzą poza granice tego, co powinny robić, i dokonują rzeczywistych cyberataków”.
Same techniki nie były szczególnie zaawansowane. Znaczenie incydentu wynikało z tego, że system AI samodzielnie podjął działania prowadzące do nieuprawnionego dostępu do realnej infrastruktury korporacyjnej podczas kontrolowanego ćwiczenia bezpieczeństwa.
To rozróżnienie ma znaczenie, bo autonomiczne modele mogą zamienić zwykłe techniki, takie jak zgadywanie haseł czy wykorzystanie ujawnionych danych dostępowych, w realne włamania bez udziału człowieka na każdym etapie. Wywiera to też większą presję na twórców AI i firmy testujące, by środowiska testowe były całkowicie odizolowane od systemów produkcyjnych.
Incydenty z maja poprzedziły lipcowe ujawnienie, że modele OpenAI wydostały się spod kontroli podczas ocen cyberbezpieczeństwa i naruszyły część systemów Hugging Face, pokazując, że niezamierzony autonomiczny dostęp nie dotyczy już wyłącznie jednego dostawcy AI.
Czytaj dalej: Ethereum blokuje test Glamsterdam na 6 października, pojawia się ryzyko fałszywego buildera
