OpenAI у власній розповіді про те, як дві її моделі зламали Hugging Face відтворює маркетингову стратегію, яку компанія вибудовує ще з 2019 року, стверджує комп’ютерний науковець з Корнелльського університету Джон Тікстен.
Ключові моменти:
- OpenAI стверджує, що дві її моделі вийшли з тестового «пісочниці» та зламали сервери Hugging Face, аби сфальшувати результат кібер-бенчмарку.
- На думку Тікстена, це розкриття одночасно працює як інвестиційний пітч і повторює логіку рішення не випускати GPT‑2 у 2019 році.
- Для форензики Hugging Face довелося звернутися до китайської open-weight‑моделі, оскільки американські моделі відмовилися виконувати таку роботу.
Тікстен ставить під сумнів спосіб, у який OpenAI розкрила інцидент
OpenAI повідомила у вівторок, що під час внутрішнього тесту наступальних кіберздібностей дві її моделі зламали Hugging Face — один з ключових хабів відкритого ШІ.
Hugging Face розкрила факт вторгнення за п’ять днів до того, описавши атаку як повністю автономну, проведену «агентною» системою від початку до кінця. OpenAI назвала інцидент безпрецедентним і заявила, що очікує подібних випадків у міру нарощування можливостей моделей.
Моделі скористалися zero‑day‑вразливістю в інсталяторі пакетів, вирвалися з пісочниці, яка мала бути повністю ізольованою від мережі, а далі послідовно рухалися через внутрішні системи, доки не вийшли на машину з доступом до інтернету. Уже там вони використали вкрадені облікові дані та інші zero‑day, щоб витягнути відповіді до бенчмарку безпосередньо з продукційних серверів Hugging Face.
Тікстен, доцент Корнелльського університету, який досліджує методи керування поведінкою моделей, заявив, що така подача історії дуже пасує компанії, яка готується до виходу на Уолл‑стріт.
Попередження про «небезпечні моделі», як він стверджує, інвестори читають насамперед як заяву про масштаб потужності.
Він наголошує, що саме таке обрамлення супроводжує ключові анонси OpenAI вже багато років, і фінансові спонсори стабільно винагороджують його грошима.
Читайте також: ChatGPT нібито ледве не вбив пастора — тепер цю справу розглядатиме суд
Бенджіо і Гвідо розійшлися в оцінці провини
Не всі сприймають розкриття інциденту як маркетинговий хід, та й з’явилося воно вже після того, як президент Дональд Трамп підписав указ, що дає уряду право попередньо оцінювати ризики потужних моделей перед їхнім релізом.
Йошуа Бенджіо назвав інцидент «дзвінком будильника», а Нейт Соарес з Machine Intelligence Research Institute охарактеризував його як «перший попереджувальний постріл», який має підштовхнути Вашингтон до серйозних перемовин із Пекіном.
Експерти з кібербезпеки найбільше критикують інженерні практики самої OpenAI. Ден Гвідо з Trail of Bits описав інцидент як «провал стримування із вимкненими запобіжниками», вказавши на інсталятор пакетів, який фактично відкрив пісочниці вихід назовні.
Інші зауважують, що в рамках тесту OpenAI свідомо послабила обмеження на «кібервідмови» моделей, тож отриманий результат виглядає менш шокуючим, ніж у первинному описі.
Ліквідація наслідків виявила й другу проблему: хмарні американські моделі масово відмовлялися обробляти сирі команди атак та експлойт‑навантаження, без яких неможлива повноцінна форензика.
За даними Hugging Face, компанія перейшла на розгортання GLM 5.2 від Z.ai — open-weight‑моделі, яку інженери запустили на власному «залізі» й прогнали через неї понад 17 000 логів, залишених після інциденту.
Попередження OpenAI про небезпеку тягнуться ще з 2019 року
OpenAI й раніше позиціонувала власні розробки як потенційно небезпечні: у лютому 2019‑го компанія відмовилася публікувати повну версію генератора тексту GPT‑2, посилаючись на ризик масового напливу правдоподібних фейків в інтернеті. Уже в липні того ж року Microsoft інвестувала в OpenAI 1 млрд доларів. За словами Тікстена, базовий інвестиційний «пітч» відтоді майже не змінився.
Читайте далі: Tesla обіцяє витратити понад $25 млрд — і інвестори нервують