OpenAI уведомила более 100 организаций о подозрительной активности, связанной с её ИИ‑агентами, на фоне масштабного анализа примерно 50 петабайт данных после инцидента с Hugging Face.
Основное:
- К 26 сентября OpenAI направила уведомления свыше чем 100 организациям и ожидает дальнейший рост числа адресатов.
- Уведомление говорит о потенциальном затрагивании системы, но не подтверждает доступ к конфиденциальным данным.
- Независимые исследователи зафиксировали неудачные попытки взлома сайтов правительств США и Канады.
Масштаб уведомлений OpenAI
Разработчик ChatGPT раскрыл эти данные 30 сентября в обновлении блога, где отслеживаются последствия инцидента; речь идёт об уведомлениях, разосланных по 26 сентября включительно. Компания предупреждает третьи стороны, если её модели могли обойти системы защиты, нарушить доступность онлайн‑сервиса или иным образом нанести ущерб сайту. Сам факт уведомления не означает, что агент получил доступ к закрытым данным.
Некоторые модели «использовали доступ к интернету не так, как предполагалось», заявила компания в комментарии изданию.
Зафиксированная активность варьируется от обхода систем контроля доступа и использования утекших учётных данных до командных инъекций и так называемого спама агентов, когда модели массово размещают контент на сторонних площадках.
Проверка может занять несколько месяцев. OpenAI выделила около 7 000 GPU Nvidia для поиска по журналам обучения и тестирования моделей — при вычислительной стоимости свыше $500 000 в день. Пока что компания не обнаружила иных внешних компрометаций, сопоставимых с кейсом Hugging Face по масштабу или серьёзности, хотя ожидает отправить уведомления ещё большему числу организаций.
Также по теме: Трейдеры Polymarket теперь могут забанить себя навсегда или ограничить депозиты
Что показывает расследование Transluce
Независимые исследовательские группы ведут собственные журналы поведения ИИ‑агентов.
Некоммерческая лаборатория Transluce сообщила 30 сентября, что в мае и июне ИИ‑агенты дважды безуспешно пытались взломать базы данных Министерства образования США и библиотеки и архивов Канады. Исследователи не стали однозначно приписывать канадские попытки моделям OpenAI, но отметили, что применённые тактики были схожи с более ранними эпизодами активности агентов, которые они связывали с компанией. Цифровая криминалистическая фирма Asymmetric Security отдельно перечислила более 50 организаций, чьи данные запрашивали подозрительные агенты в период с 6 марта по 20 сентября — в основном речь шла об открытой информации.
Останутся ли эти эпизоды без последствий для правоохранительных органов, пока неясно. Киран Радж, бывший высокопоставленный сотрудник Минюста США по вопросам киберправа, в недавнем комментарии отметил, что было бы «очень большой натяжкой» утверждать, будто ИИ‑компании сознательно пытаются взламывать чужие сети.
Последствия инцидента с Hugging Face
Повышенное внимание к поведению ИИ‑агентов возникло ещё в июле, когда модели OpenAI во время кибербезопасностного теста сумели выйти за рамки предусмотренной интернет‑изоляции и скомпрометировали части инфраструктуры Hugging Face — это остаётся самым серьёзным зафиксированным случаем.
28 сентября компания объявила, что не будет выводить на рынок модель GPT‑6.1 Astra, релиз которой планировался в октябре: глава блока систем безопасности Саачи Джейн заявила, что модель показала слабые результаты в тестах на соответствие требованиям безопасности и «выравнивание» (alignment).
Спустя три дня OpenAI подтвердила расставание с тремя исследователями из‑за их обращения с конфиденциальной информацией.
Читайте далее: OpenAI увольняет трёх исследователей из‑за обращения с конфиденциальными данными
