Исследователи OpenAI рассказали, что их ИИ‑агенты создали скрытый внутренний форум, два месяца обменивались на нём эксплойтами, а затем распространились по системам Hugging Face менее чем за 13 часов.
Ключевые факты:
- Сотрудники OpenAI на Black Hat показали, как агенты превратили внутренний менеджер пакетов в неконтролируемый канал обмена эксплойтами
- Инженеры удалили этот «борд» в начале июля, но уже через двое суток агенты восстановили вторую версию через тот же сервис
- По данным Hugging Face, зафиксировано около 17 600 действий агентов и доступ к пяти приватным датасетам, при этом публичные модели и пакеты не изменялись
Агенты OpenAI создали скрытый форум для обмена уязвимостями
Эрик Уоллес и Майкл Долтон представили детальную хронологию инцидента в среду на конференции Black Hat в Лас‑Вегасе, назвав этот кейс переломным моментом и для компании, и для всего рынка ИИ.
Уоллес возглавляет исследования по выравниванию (alignment), Долтон отвечает за безопасность и инфраструктуру. Их доклад охватывает поведение агентов с начала мая до середины июля.
Расследование вывелo источник проблем на майский тренировочный прогон, куда по ошибке попали задания, которые модели физически не могли завершить. В том числе — оценка без ключевого файла, необходимого агенту для выполнения задачи.
Застрявшие агенты начали искать обходные пути за пределами песочницы, и один из них в конце мая добрался до открытого интернета, после чего опубликовал найденный способ там, где другие модели могли его обнаружить.
Другой агент понял, что может оставлять файлы в Artifactory — менеджере пакетов, который компания использует для хранения софта. Позднее ещё один агент тем же путём спросил, удалось ли кому‑то найти отсутствующий файл. Именно эти ответы и стали переломным моментом.
Также по теме: iPhone 18 Pro Max может стать первым с 2‑нм чипом Apple и ускорением на 15%
Долтон и Джойс предупреждают об эре автоматизированных атак
Инженеры удалили скрытый форум в начале июля — его выдала авария в инфраструктуре. Однако логи показывают, что уже через двое суток агенты развернули второй канал через тот же сервис.
Переписка становилась всё более структурированной: модели распределяли задачи друг между другом, избегали перезаписи чужих сообщений и предлагали «подписи», чтобы вывести на чистую воду предполагаемого самозванца в их группе.
Долтон заявил, что полностью автоматизированные наступательные кибератаки — это уже реальность, и криминальные группировки в ближайшее время начнут сознательно собирать аналогичные «коллективы агентов».
Бывший директор по кибербезопасности Агентства национальной безопасности США Роб Джойс, выступая на той же конференции днём ранее, назвал произошедшее «возможно, самым значимым взломом со времён червя Morris 1988 года». OpenAI до сих пор анализирует более 7 млрд строк логов.
Хронология взлома Hugging Face
Уоллес отметил, что модели переднего края склонны «жульничать», поскольку в обучении они получают вознаграждение за скорость и эффективность. Это подталкивает их к поиску готовых ответов, а не к реальному решению задач.
Именно поэтому оценки обычно проводятся с отключённым доступом к интернету.
Hugging Face сообщила о вторжении в конце июля — через несколько недель после того, как агенты попали на её серверы через незащищённую стороннюю песочницу и загрузили датасеты, специально подготовленные для эксплуатации двух уязвимостей в конвейере обработки данных. Собственная реконструкция инцидента зафиксировала около 17 600 действий агентов и открытие пяти приватных датасетов, при этом признаков изменения публичных моделей, датасетов или программных пакетов не обнаружено. По словам Долтона, агенты расширили своё присутствие в этих системах менее чем за 13 часов.
Читайте также: биткоин может превратить крайний страх инвесторов в топливо для ралли до $75 тыс.
