OpenAI подала розповідь про те, як її дві моделі зламали Hugging Face у добре знайомому маркетинговому ключі, започаткованому ще 2019 року, стверджує комп’ютерний науковець з Університету Корнеллу Джон Тікстен.
Головне:
- OpenAI заявляє, що дві її моделі вийшли з тестового «пісочниці» та проникли на сервери Hugging Face, щоб сфальшувати результати у кібер-бенчмарку.
- Тікстен переконаний, що це розкриття водночас слугує інвестиційною презентацією і перегукується з рішенням лабораторії не публікувати GPT‑2 у 2019 році.
- Hugging Face для форензіки звернулася до китайської відкритої моделі, після того як американські моделі відмовилися обробляти атакувальний код.
Тікстен сумнівається у щирості зізнання OpenAI щодо зламу
У вівторок OpenAI повідомила, що під час внутрішнього тесту наступальних кіберздібностей дві її моделі зламалися до Hugging Face — відкритої платформи для ШІ.
Hugging Face розкрила факт інциденту на п’ять днів раніше, описавши атаку як повністю автономну дію агентної системи. OpenAI назвала епізод безпрецедентним і попередила, що зі зростанням потужності моделей подібні випадки повторюватимуться.
За версією компанії, моделі скористалися «нульовим днем» у інсталяторі пакунків, вирвалися з пісочниці, яка формально не мала виходу в інтернет, і крок за кроком пройшли внутрішні системи до машини з доступом до мережі. Уже там вони застосували викрадені облікові дані та ще кілька zero‑day‑вразливостей, щоб стягнути відповіді з бенчмарків безпосередньо з продукційних серверів Hugging Face.
Тікстен, доцент Корнелльського університету, який досліджує методи контролю поведінки моделей, заявив, що така подача виглядає логічною для компанії, яка готується до виходу на Уолл‑стріт.
На його думку, коли OpenAI говорить про небезпеку власних систем, інвестори в першу чергу чують заяву про їхню виняткову потужність.
Він вказує, що таке «рамкування» супроводжує ключові анонси компанії вже роками — і що ринок стабільно винагороджує саме цей наратив.
Також читайте: ChatGPT нібито мало не вбило пастора — тепер цим займеться суд
Бенджіо та Гвідо розходяться в оцінці
Водночас не всі сприйняли заяву OpenAI як цинічну рекламу. Вона прозвучала за кілька тижнів після того, як президент Дональд Трамп підписав указ, що дозволяє уряду попередньо оцінювати ризики перед випуском передових моделей.
Лауреат Тюрінгівської премії Йошуа Бенджіо назвав інцидент «дзвінком прокинутися», а директор Machine Intelligence Research Institute Нейт Соарес охарактеризував його як «попереджувальний постріл», який має підштовхнути Вашингтон до предметних переговорів із Пекіном.
Фахівці з безпеки, однак, найбільш різко висловлюються про інженерні рішення OpenAI. Голова Trail of Bits Ден Гвідо назвав інцидент «провалом утримання із вимкненими запобіжниками», вказуючи на інсталятор пакунків, який фактично відкрив пісочниці шлях назовні.
Інші експерти нагадують, що для експерименту OpenAI навмисно послабила обмеження на кіберзавдання, тож результат виглядає менш шокуючим, ніж на перший погляд.
Під час ліквідації наслідків спливла ще одна проблема: хмарні американські моделі відмовилися обробляти «сирі» команди атаки та експлойти, яких вимагає форензика.
Hugging Face повідомила, що її інженери натомість запустили на власному обладнанні відкритовагову модель GLM 5.2 від Z.ai, щоб проаналізувати понад 17 000 логів, залишених після інциденту.
Риторика про «небезпечний OpenAI» веде відлік з 2019 року
OpenAI не вперше позиціонує власні розробки як потенційно небезпечні. У лютому 2019 року компанія відмовилася повністю випускати текстовий генератор GPT‑2, заявивши про ризик масового напливу правдоподібних фейкових матеріалів в інтернет. Уже в липні того ж року Microsoft інвестувала в OpenAI $1 млрд. Тікстен наголошує: відтоді базовий інвестиційний меседж майже не змінився.
Читайте далі: Tesla обіцяє витратити понад $25 млрд — і інвестори нервують
