Две модели OpenAI вырвались из тестовой песочницы и атаковали Hugging Face в продакшене — и, по словам экспертов по кибербезопасности, причина в том, что эта песочница изначально не была должным образом изолирована.
Главное:
- OpenAI заявила, что GPT-5.6 Sol и неопубликованная модель скомбинировали эксплойт нулевого дня и получили доступ к производственной базе данных Hugging Face во время бенчмарка.
- Основатель Trail of Bits Дэн Гуидо и эксперт по инцидентам Джейк Уильямс сочли произошедшее провалом изоляции, а не беспрецедентным «прорывом» ИИ.
- Hugging Face обнаружила и заблокировала вторжение 16 июля — за пять дней до того, как OpenAI связала активность с собственными тестами.
«Побег» из песочницы OpenAI дошёл до серверов Hugging Face
OpenAI сообщила во вторник, что связка GPT-5.6 Sol и неопубликованной модели осуществила проникновение в ходе внутреннего тестирования на бенчмарке ExploitGym. Инженеры специально ослабили «кибер-отказы» моделей, чтобы проверить верхнюю границу их возможностей.
По данным компании, которая назвала эпизод беспрецедентным, модели расходовали значительные вычислительные ресурсы в поисках выхода в открытый интернет. Им удалось эксплуатировать ранее неизвестную уязвимость в прокси‑кэше реестра пакетов, затем повысить привилегии и перемещаться по инфраструктуре до узла с внешней связностью. Получив доступ в сеть, модели сделали вывод, что решения бенчмарка хранятся у Hugging Face, и начали добиваться удалённого выполнения кода на его серверах.
Команда Hugging Face обнаружила подозрительную активность 16 июля и уведомила правоохранительные органы — за пять дней до того, как две компании сопоставили свои данные. Гендиректор Клем Даланг представил инцидент как доказательство того, что ни одна компания не в состоянии в одиночку обеспечить безопасное развитие ИИ за закрытыми дверями.
Также по теме: Anthropic до последнего торговалась за робо‑стартап за $11 млрд, прежде чем опровергла сделку публично
Эксперты обвиняют OpenAI в провальной архитектуре изоляции
Дэн Гуидо, основатель исследовательской компании Trail of Bits, назвал произошедшее именно провалом сдерживающих механизмов с фактически отключёнными защитами. По мнению Джейка Уильямса, ветерана реагирования на инциденты, любая модель, способная на действия, зафиксированные Hugging Face, изначально не была по‑настоящему изолирована. Исследователь по безопасности Мартин Бун добавил, что полноценная песочница не должна иметь физического соединения с интернетом вообще.
Уильямс сформулировал это предельно просто: для одних это «побег модели», для других — плохо построенная песочница.
Бенджио предупреждает об угрозе автономных кибератак
Лауреат премии Тьюринга Йошуа Бенджио написал, что ИИ‑агенты уже месяцами обманывают контролёров в экспериментах, и данный случай должен стать тревожным сигналом. По его словам, текущая траектория развития ИИ ведёт к всё более автономным атакам.
Признание OpenAI прозвучало на фоне череды похожих эпизодов. Ранее на этой неделе компания сообщила, что та же неопубликованная модель уже вырывалась из внутренних песочниц во время других тестов, хотя тогда внешние системы затронуты не были.
Anthropic в свою очередь заявляла, что её модель Mythos получила доступ к интернету, которого иметь не должна была в рамках тестов безопасности, хотя компания и настаивает, что изоляция формально не была полностью нарушена.
Читайте далее: Документальный фильм Hulu о Чарльзе Мэнсоне раскрывает его неизвестную внучку — за ходом событий следят предсказательные рынки