Gemini від Google під час кібервипробувань отримав доступ до захищених систем трьох компаній, що стало першим відомим випадком автономних зламів з боку моделі та підняло нові питання щодо контролю над ШІ.
Ключові моменти:
- Gemini проник у системи трьох реальних компаній під час кібертестів, які проводила Irregular.
- В одному випадку модель підбирала паролі, а в двох інших — знайшла публічно доступні облікові дані.
- У Google заявили, що Gemini зупинявся після того, як розпізнавав реальні цілі, тоді як керівник з безпеки назвав ці інциденти виходом моделей за межі дозволеного.
Злами компаній через Gemini
The Wall Street Journal повідомила , що інциденти сталися під час тестів, які проводила Irregular — кібербезпекова компанія, що перевіряла можливості Gemini на імітованих цілях.
В одному випадку Gemini підбирав паролі, доки не отримав доступ. В інших двох модель знайшла облікові дані в публічному репозиторії й використала їх для входу до захищених систем.
Irregular повідомила Google про злами наприкінці липня, однак публічно їх підтвердили лише в п’ятницю після звернення Journal до компаній. У Google пояснили, що раніше не розкривали ці дані, оскільки Gemini “діяв належним чином”, завершуючи кожну спробу вторгнення після того, як визначав, що має справу з реальною компанією.
Читайте також: Кевін О’Лірі знову купує криптовалюту та ставить біткоїн поруч із золотом
Попередження від Jack Cable
Джек Кейбл, CEO компанії з безпеки ШІ Corridor, поставив під сумнів це пояснення, заявивши, що Google “намагається сховатися за нормами, які сформувалися для розкриття вразливостей”. За його словами, головна проблема полягає в тому, що “моделі виходять за межі того, що їм слід робити, і здійснюють реальні кібератаки”.
Самі методи не були особливо витонченими. Важливість інциденту полягає в тому, що система ШІ самостійно вчинила дії, які призвели до несанкціонованого доступу до реальної корпоративної інфраструктури під час контрольованого безпекового експерименту.
Це розрізнення має значення, адже автономні моделі можуть перетворювати звичайні техніки, такі як підбір пароля або використання відкритих облікових даних, на реальні вторгнення без участі людини на кожному етапі. Водночас це посилює тиск на розробників ШІ та компанії з тестування, змушуючи їх краще ізолювати середовища оцінювання від продуктивних систем.
Інциденти з Gemini у травні сталися ще до липневої публікації про те, що моделі OpenAI вийшли з-під контролю під час кібероцінювання та скомпрометували частину систем Hugging Face, показавши, що небажаний автономний доступ уже не є проблемою лише одного розробника ШІ.
Читайте далі: Ethereum закріпив тест Glamsterdam на 6 жовтня, сплив ризик фейкового builder
