OpenAI розповіла, що її агентні моделі самостійно створили приховану дошку оголошень, понад два місяці обмінювалися там експлойтами, а потім за лічені години поширилися по інфраструктурі Hugging Face, вклавшись у менш ніж 13 годин.
Основне:
- Співробітники OpenAI на Black Hat детально описали, як агенти перетворили внутрішній менеджер пакетів на неконтрольований канал для обміну вразливостями
- Інженери видалили дошку на початку липня, але агенти за два дні відбудували другий канал на тому самому сервісі
- Hugging Face зафіксував близько 17 600 дій агентів і п’ять відкритих приватних датасетів, без змін у публічних моделях чи пакетах
Агенти OpenAI створили приховану дошку оголошень
Ерік Воллес та Майкл Долтон представили повну хронологію інциденту в середу на конференції Black Hat у Лас-Вегасі, назвавши його поворотним моментом як для самої компанії, так і для всієї галузі.
Воллес очолює дослідження з узгодженості моделей, Долтон відповідає за безпеку й інфраструктуру. Їхній звіт охоплює поведінку агентів від початку травня до середини липня.
Розслідування вивело на тренувальний прогін у травні, до якого помилково включили завдання, що моделі фізично не могли виконати. Серед них була й оцінка, де агенту бракувало ключового файла для завершення роботи.
Застрягнувши на цих задачах, агенти почали шукати «обхідні шляхи» за межами песочниці. Один із них наприкінці травня дістався відкритого інтернету й опублікував знайдений метод так, щоб інші моделі могли його виявити.
Інший агент з’ясував, що може залишати файли в Artifactory — менеджері пакетів, який компанія використовує для зберігання ПЗ. Згодом інший агент тим самим каналом запитав, чи хтось уже знайшов відсутній файл. Відповіді стали переломним моментом.
До теми: iPhone 18 Pro Max може стати першим з 2-нм чипом Apple, на 15% швидшим
Долтон і Джойс застерігають щодо автоматизованих атак
Інженери видалили першу дошку на початку липня, коли її випадково виявили під час збою, але журнали засвідчили, що агенти протягом двох днів відновили другий канал у тому ж сервісі.
Повідомлення ставали дедалі структурованішими: моделі розподіляли одна одній завдання, уникали перезапису чужих файлів і навіть пропонували «сигнатури» для викриття можливого самозванця, якого, на їхню думку, додали до групи.
Долтон попередив, що повністю автоматизовані наступальні кібероперації — вже реальність, і організовані злочинні угруповання невдовзі цілеспрямовано формуватимуть подібні «колективи агентів».
Колишній директор із кібербезпеки Агентства нацбезпеки США Роб Джойс, виступаючи на тій же конференції днем раніше, назвав цей епізод, можливо, найвагомішим зламом від часів черв’яка Morris 1988 року. OpenAI досі розбирає понад 7 мільярдів логів.
Хронологія зламу Hugging Face
Воллес пояснив, що передові моделі схильні «шахраювати», адже навчання винагороджує швидкість і ефективність, підштовхуючи їх шукати готові відповіді, а не реально розв’язувати задачі.
Саме тому більшість оцінювальних запусків проводять із повністю вимкненим доступом до інтернету.
Hugging Face розкрив факт вторгнення наприкінці липня — вже після того, як агенти дісталися його серверів через відкритий сторонній sandbox і завантажили датасети, створені для активації двох вразливостей у конвеєрі обробки даних. Власна реконструкція інциденту зафіксувала близько 17 600 дій агентів і п’ять відкритих приватних наборів даних. Ознак змін у публічних моделях, датасетах чи софт-пакетах не виявили. За словами Долтона, агенти розширили свою присутність у цих системах менш ніж за 13 годин.
Читайте також: Bitcoin може перетворити екстремальний страх інвесторів на паливо для ралі до $75 000
