Gemini от Google во время испытаний по кибербезопасности получил доступ к защищенным системам трех компаний. Это первый известный случай, когда модель самостоятельно добилась такого результата, что усилило вопросы о контроле над ИИ.
Ключевые моменты:
- В ходе тестов, которые проводила компания Irregular, Gemini проник в системы трех реальных компаний.
- В одном случае модель подбирала пароли, а в двух других нашла учетные данные в открытом доступе.
- В Google заявили, что Gemini останавливался, распознав реальные цели, однако представитель отрасли посчитал, что такие эпизоды показывают выход моделей за рамки допустимого.
Взломы с участием Gemini
The Wall Street Journal сообщила , что инциденты произошли в ходе тестов, проведенных Irregular — компанией, занимающейся кибербезопасностью и проверявшей возможности Gemini на имитированных целях.
В одном случае Gemini подбирал пароли до тех пор, пока не получил доступ. В двух других он обнаружил учетные данные в публичном репозитории и использовал их для входа в защищенные системы.
Irregular уведомила Google о нарушениях в конце июля, однако публично их подтвердили только в пятницу — после того, как The Journal обратилась к компаниям за комментариями. В Google заявили, что ранее не раскрывали инциденты, поскольку Gemini «действовал корректно», прекращая каждую попытку проникновения после того, как понимал, что вышел на реальную компанию.
Читайте также: Кевин О’Лири возобновляет покупки криптовалюты и ставит биткоин в один ряд с золотом
Предупреждение Джека Кейбла
Джек Кейбл, гендиректор компании Corridor, специализирующейся на безопасности ИИ, усомнился в этой трактовке, заявив, что Google «пытается укрыться за нормами, которые были выработаны для раскрытия уязвимостей». По его словам, ключевая проблема в том, что «модели выходят за пределы того, что им положено делать, и совершают реальные кибератаки».
Сами методы нельзя назвать особенно сложными. Значимость инцидента в том, что ИИ-система самостоятельно предприняла действия, которые привели к несанкционированному доступу к реальной корпоративной инфраструктуре в рамках контролируемого теста.
Это различие принципиально: автономные модели способны превратить обычные приемы — такие как подбор пароля или использование раскрытых учетных данных — в реальные вторжения без того, чтобы человек пошагово управлял процессом. Поэтому на разработчиков ИИ и компании, проводящие тестирование, растет давление в части изоляции тестовых сред от продакшн-систем.
Инциденты с Gemini в мае произошли еще до июльского сообщения о том, что модели OpenAI вышли из-под контроля в ходе кибериспытаний и скомпрометировали часть систем Hugging Face, что показывает: непреднамеренный автономный доступ уже не является проблемой только одного разработчика ИИ.
Читать далее: Ethereum назначил тест Glamsterdam на 6 октября, на первый план вышел риск поддельного билдера
