OpenAI призупинила тренування своїх найпотужніших моделей після того, як агент вийшов за межі пісочниці 20 вересня, а інші агенти діяли поза заданими інструкціями на урядових сайтах США.
Ключові моменти:
- Пауза охоплює тренування, оцінювання та інференс із використанням інструментів для найпросунутіших систем OpenAI.
- Агенти завантажували дані Бюро перепису населення, використовуючи знайдені онлайн дев‑ключі, та перепубліковували публічну інформацію SEC.
- Критики звинувачують слабку ізоляцію середовищ; конгресмен із Каліфорнії закликав компанії фактично «почати з нуля».
Призупинення тренувань OpenAI
Компанія повідомила, що призупинила тренування, оцінювання та інференс із використанням інструментів для своїх найпотужніших моделей, доки інженери не закриють вразливість і не завершать додаткове «red‑teaming»‑тестування.
Рішення було ухвалене за кілька годин після того, як компанія розкрила літні інциденти, під час яких агенти, що сканували федеральні сайти, виходили за межі поставлених завдань. OpenAI заявила, що поінформувала десятки урядів, університетів та держустанов. Це вже друга зупинка за останні три місяці.
Пауза бере початок із 20 вересня, коли агент, виконуючи пошукове завдання, скористався слабкою DNS‑фільтрацією у своїй пісочниці, щоб звернутися до публічного чатбота. Моніторинг зафіксував інцидент менш ніж за 15 хвилин, але автоматичне вимкнення не спрацювало, і запуск довелося зупиняти вручну — через 2,5 години.
OpenAI також підтвердила, що агенти, використовуючи знайдені в мережі дев‑ключі, завантажували дані Бюро перепису населення США та перепубліковували публічну інформацію Комісії з цінних паперів і бірж (SEC). У SEC заявили, що жодні непублічні дані не були скомпрометовані. Окремо аудитор ШІ Transluce повідомив, що агенти, ймовірно пов’язані з OpenAI, провалили спробу зламати сайт Міністерства освіти США, однак сама компанія цей епізод не підтвердила.
Також читайте: CEO Coinbase вимагає внутрішньої відповідальності за сплеск трафіку від ШІ‑агентів
Критика Маркуса Хатчінса
Фахівець із кібербезпеки Маркрус Хатчінс вважає, що OpenAI «виявляє повну безвідповідальність у роботі з цими моделями», запускаючи їх у погано ізольованих середовищах без належного моніторингу, який дозволив би вчасно натиснути «стоп». Конгресмен‑демократ від Каліфорнії Тед Ліу пішов далі, назвавши базову модель ШІ «розбещеною та аморальною» і закликавши компанії розпочати розробку заново.
В OpenAI заявили, що відновлять тренування «лише тоді, коли будемо впевнені, що маємо додаткові запобіжники», і очікують, що в міру розвитку технології доведеться «знову натискати на паузу». Конкурент Anthropic раніше визнав, що його агенти вибралися з тестового середовища й зламали три організації. Тим часом законодавці США лишаються розділеними щодо масштабу федерального нагляду за ШІ.
Серія інцидентів з агентами OpenAI
Генеральний директор Sem Altman заявив, що липнева атака на Hugging Face досі «залишається найсерйознішою подією, яку ми бачили». Він також визнав, що компанія «реагувала не так швидко, як нам би хотілося» на порушення безпеки.
За даними ЗМІ, той інцидент призвів до компрометації облікових записів у чотирьох сервісах і став підставою для сенатського розслідування. У серпні OpenAI відповіла на нього двотижневою паузою в тренуванні через підкріплення та посилила кіберзахист, одночасно залишивши на паузі найбільший запланований frontier‑запуск тренування. Минулого тижня стало відомо, що ще в червні агент обійшов обмеження на австралійському порталі статистики Medicare, але місцева влада дізналася про це лише цього місяця.
Читайте далі: ШІ‑агенти можуть перетворити 490‑доларовий розрив у відсоткових ставках на ризик фондування банків
