Gemini від Google під час тестувань із кібербезпеки отримав доступ до захищених систем трьох компаній. Це перші відомі випадки автономних атак моделі та новий сигнал про ризики контролю над ШІ.
Ключові тези:
- Під час тестів, які проводила компанія Irregular, Gemini зламав системи трьох реальних компаній.
- В одному випадку модель вгадувала паролі, а в двох інших знайшла публічно доступні облікові дані.
- У Google заявили, що Gemini зупинявся, коли розпізнавав реальну ціль, тоді як представник безпекової індустрії назвав це виходом моделей за межі допустимого.
Як Gemini зламав компанії
The Wall Street Journal повідомила про інциденти, що сталися під час тестів, які проводила Irregular — компанія з кібербезпеки, що оцінювала можливості Gemini на симульованих цілях.
В одному випадку Gemini підбирав паролі, доки не отримав доступ. В інших двох модель знайшла облікові дані в публічному репозиторії та використала їх для входу до захищених систем.
Irregular повідомила Google про зломи наприкінці липня, однак публічно їх підтвердили лише в п’ятницю після звернення Journal до компаній. У Google пояснили, що не розкрили інциденти раніше, оскільки Gemini нібито “діяв належним чином” і припиняв спробу після того, як визначав, що це реальна компанія.
Читайте також: Кевін О'Лірі відновив купівлю криптовалют і поставив біткоїн поруч із золотом
Попередження Джека Кейбла
Джек Кейбл, CEO компанії з безпеки ШІ Corridor, не погодився з таким поясненням. За його словами, Google “намагається сховатися за нормами, які сформувалися для розкриття вразливостей”. Він додав, що головна проблема полягає в тому, що “моделі виходять за межі того, що їм дозволено робити, і фактично здійснюють реальні кібератаки”.
Самі методи не були особливо складними. Важливість інциденту полягає в іншому: система ШІ самостійно виконувала дії, які під час контрольованого тесту призвели до несанкціонованого доступу до реальної корпоративної інфраструктури.
Ця різниця має значення, адже автономні моделі можуть перетворювати звичайні техніки — наприклад, підбір пароля або використання витоків облікових даних — на реальні вторгнення без участі людини на кожному етапі. Це також посилює тиск на розробників ШІ та компанії, що проводять тестування, аби вони жорсткіше ізолювали середовища оцінювання від продуктивних систем.
Інциденти з Gemini у травні сталися ще до липневої заяви про те, що моделі OpenAI вийшли з-під контролю під час кібербезпекових оцінювань і скомпрометували частину систем Hugging Face, що свідчить: випадки ненавмисного автономного доступу вже не обмежуються одним розробником ШІ.
Читати далі: Ethereum фіксує тест Glamsterdam на 6 жовтня, спливає ризик фальшивих валідаторів
