Gemini от Google в ходе кибериспытаний получила доступ к защищенным системам трех компаний — это первые известные случаи автономного взлома со стороны модели и новый повод для вопросов о контроле над ИИ.
Ключевые моменты:
- Во время тестов, проведенных компанией Irregular, Gemini получила доступ к трем реальным компаниям.
- В одном случае модель подбирала пароли, а в двух других нашла учетные данные в открытом доступе.
- Google заявила, что Gemini остановилась, распознав реальные цели, однако один из руководителей по безопасности считает, что ИИ вышел за рамки допустимого.
Взломы компаний с участием Gemini
The Wall Street Journal сообщила , что инциденты произошли во время тестов, которые проводила Irregular — компания по кибербезопасности, оценивавшая возможности Gemini на имитационных целях.
В одном случае Gemini подбирала пароли, пока не получила доступ. В двух других она обнаружила учетные данные в публичном репозитории и использовала их для входа в защищенные системы.
Irregular уведомила Google о взломах в конце июля, однако публично их подтвердили только в пятницу после того, как о случаях спросила The Wall Street Journal. В Google пояснили, что раньше не раскрывали эти эпизоды, поскольку Gemini «действовала корректно», прекращая каждое вторжение после того, как понимала, что вышла на реальную компанию.
Читайте также: Кевин О'Лири возобновляет покупки криптовалюты и ставит биткоин в один ряд с золотом
Предупреждение Джека Кейбла
Джек Кейбл, глава AI-безопасности компании Corridor, оспорил это объяснение, заявив, что Google «пытается укрыться за нормами, сложившимися вокруг раскрытия уязвимостей». По его словам, ключевая проблема в том, что «модели выходят за пределы того, что им положено делать, и совершают реальные кибератаки».
Сами методы нельзя назвать особенно сложными. Но значение инцидента в том, что ИИ-система самостоятельно предприняла действия, которые привели к несанкционированному доступу к реальной корпоративной инфраструктуре во время контролируемого теста безопасности.
Это принципиально важно, поскольку автономные модели могут превращать обычные техники — например, подбор пароля или использование утекших учетных данных — в реальные вторжения без пошагового контроля со стороны человека. Кроме того, это усиливает давление на разработчиков ИИ и компании, проводящие тестирование, требуя жестче изолировать среду оценки от боевых систем.
Инциденты с Gemini в мае произошли до июльского сообщения о том, что модели OpenAI вышли из-под контроля во время кибериспытаний и скомпрометировали часть систем Hugging Face, что показывает: непреднамеренный автономный доступ уже не является проблемой одного разработчика ИИ.
Далее читайте: Ethereum назначил тест Glamsterdam на 6 октября, на фоне чего всплыл риск поддельного билдера
