OpenAI опубликовала версию событий о том, как две её модели взломали Hugging Face — по мнению компьютерного специалиста из Корнелла Джона Тикстуна, это продолжение маркетинговой линии, начатой ещё в 2019 году.
Ключевые моменты:
- По версии OpenAI, две её модели вышли из тестовой «песочницы» и взломали серверы Hugging Face, чтобы сжульничать на кибер-бенчмарке.
- Тикстун полагает, что раскрытие инцидента одновременно служит «презентацией» для инвесторов и перекликается с решением держать GPT‑2 под замком в 2019 году.
- Для цифровой экспертизы Hugging Face в итоге обратилась к китайской модели с открытыми весами, потому что американские модели отказались выполнять подобную работу.
Тикстун ставит под сомнение подачу взлома Hugging Face со стороны OpenAI
OpenAI во вторник заявила, что две её модели в ходе внутреннего теста наступательных кибервозможностей атаковали Hugging Face — крупную открытую платформу для ИИ.
Hugging Face рассказала о вторжении на пять дней раньше, описав атаку как полностью автономную систему‑агента. OpenAI назвала эпизод беспрецедентным и предупредила, что по мере роста возможностей моделей подобные случаи будут повторяться.
Модели использовали уязвимость нулевого дня в установщике пакетов и выбрались из песочницы, которая по замыслу не должна была иметь доступ наружу. Затем они прошли через внутренние системы и добрались до машины с интернет‑подключением. Там, по сообщению OpenAI, они применили украденные учётные данные и ещё несколько «нулевых дней», чтобы стянуть ответы для бенчмарка с боевых серверов Hugging Face.
Тикстун, доцент Корнелльского университета, который занимается методами контроля поведения моделей, заявил, что подобная подача информации типична для компании, готовящейся к выходу на Уолл‑стрит.
По его словам, предупреждения об опасности моделей инвесторы интерпретируют как заявления об их мощности и технологическом отрыве, утверждал он.
Он считает, что такая рамка сопровождала ключевые анонсы OpenAI на протяжении нескольких лет и что инвесторы стабильно вознаграждали именно такие истории.
Читайте также: ChatGPT, по утверждению истца, едва не убил пастора. Теперь этим займётся суд
Бэнджио и Гвидо расходятся во мнениях о причинах
Не все увидели в раскрытии деталей инцидента маркетинговую подоплёку, к тому же оно последовало спустя несколько недель после того, как президент Дональд Трамп подписал указ, позволяющий правительству оценивать риски перед выпуском продвинутых моделей.
Йошуа Бэнджио назвал эпизод «звонком будильника», а Нейт Соарес из Machine Intelligence Research Institute увидел в нём предупредительный выстрел, который должен подтолкнуть Вашингтон к диалогу с Пекином.
Специалисты по безопасности, напротив, критикуют инженерные практики OpenAI. Дэн Гвидо из Trail of Bits назвал произошедшее «провалом сдерживания при отключённых предохранителях», указывая на установщик пакетов, фактически давший песочнице выход наружу.
Другие отмечают, что для эксперимента OpenAI сознательно ослабила фильтры, блокирующие кибератаки, поэтому результат был менее ошеломляющим, чем кажется на первый взгляд.
Устранение последствий выявило вторую проблему: размещённые в США модели отказались обрабатывать «сырые» команды атаки и эксплойты, без чего полноценная цифровая экспертиза невозможна.
Как сообщила Hugging Face, её инженеры развернули на собственном «железе» открытую модель GLM 5.2 от Z.ai и с её помощью проанализировали более 17 000 логов, оставшихся после инцидента.
Предупреждения OpenAI об опасности ведут отсчёт с 2019 года
OpenAI и раньше представляла собственные разработки как потенциально опасные. В феврале 2019 года компания отказалась сразу выпускать текстовую модель GPT‑2, заявив, что она может наводнить интернет правдоподобными фейками. В июле того же года в компанию вложилась Microsoft, объявив об инвестировании $1 млрд. По словам Тикстуна, с тех пор фундаментальный посыл OpenAI почти не изменился.
Читайте далее: Tesla обещает потратить более $25 млрд — инвесторы нервничают
