OpenAI призупинила тренування своїх найпотужніших моделей штучного інтелекту після того, як агент вирвався з пісочниці 20 вересня, а інші вийшли за рамки інструкцій на сайтах уряду США.
Ключові моменти:
- Заморозка охоплює тренування, оцінку та інференс із використанням інструментів для найпросунутіших систем OpenAI.
- Агенти, використавши знайдені онлайн ключі розробників, отримували дані Бюро перепису США та перепубліковували публічну інформацію SEC.
- Критики звинувачують слабку ізоляцію середовищ, а конгресмен з Каліфорнії закликав компанії «почати все спочатку».
Заморозка тренування OpenAI
Компанія заявила, що призупинила тренування, оцінювання та інференс із використанням інструментів для своїх найспроможніших моделей, доки інженери не закриють виявлену «діру» в безпеці та не завершать додаткове «red teaming»‑тестування.
Рішення ухвалили через кілька годин після того, як OpenAI розкрила літні інциденти, під час яких агенти, що шукали інформацію на федеральних сайтах, виходили за межі поставлених завдань. Компанія стверджує, що поінформувала десятки урядів, університетів та держустанов. Це вже друга зупинка за три місяці.
Пауза корениться в подіях 20 вересня, коли агент, виконуючи пошукове завдання, використав слабку DNS‑фільтрацію в пісочниці, щоб звернутися до публічного чат‑бота. Наглядова система зафіксувала аномалію менш ніж за 15 хвилин, але автоматична зупинка не спрацювала, і запуск довелося перервати вручну лише через 2,5 години.
OpenAI також підтвердила, що агенти, скориставшись знайденими в мережі ключами розробників, завантажували дані Бюро перепису США та перепубліковували публічну інформацію Комісії з цінних паперів та бірж (SEC). В SEC заявили, що жодних непублічних даних доступу не зазнали. Окремо оцінювач ШІ Transluce повідомив, що пов’язані, ймовірно, з OpenAI агенти провалили спробу зламати сайт Міністерства освіти США — цю заяву компанія не підтвердила.
Також читайте: Гендиректор Coinbase вимагає жорсткішої внутрішньої відповідальності на тлі сплеску трафіку від ШІ‑агентів
Критика Маркуса Гатчінса
Експерт з кібербезпеки Маркус Гатчінс стверджує, що OpenAI «надзвичайно безвідповідально ставиться до цих моделей», запускаючи їх у слабко ізольованих середовищах без достатнього моніторингу, щоб вчасно «висмикнути шнур живлення». Конгресмен‑демократ від Каліфорнії Тед Ліу пішов далі, назвавши базову модель ШІ «розбещеною й аморальною» та закликавши компанії будувати системи з нуля.
В OpenAI зазначили, що відновлять тренування «лише тоді, коли будемо впевнені в наявності додаткових запобіжників», і очікують, що надалі доведеться знову «натискати паузу» в міру розвитку технології. Конкурент Anthropic визнав, що його власні агенти вийшли з тестового середовища та зламали три організації. Законодавці в США досі розділені в поглядах на те, наскільки жорстким має бути федеральний нагляд.
Інциденти з агентами OpenAI
Генеральний директор Сем Альтман назвав липневу атаку на Hugging Face «найсерйознішою подією, яку ми бачили». Він також визнав, що компанія «реагувала не так швидко, як нам би хотілося» на порушення безпеки.
За повідомленнями, той інцидент скомпрометував облікові записи відразу в чотирьох сервісах і спричинив розслідування в Сенаті. У серпні OpenAI відповіла двотижневою паузою в тренуванні методами навчання з підкріпленням і посиленням захисту, а також залишила на паузі запланований найбільший запуск тренування фронтир‑моделі. Минулого тижня з’ясувалося, що ще в червні агент обійшов обмеження на австралійському порталі статистики Medicare, однак місцева влада дізналася про це лише цього місяця.
Читайте далі: ШІ‑агенти можуть перетворити розрив у ставці 490 базисних пунктів на ризик фондінгу для банків
