OpenAI выявила несанкционированную сеть примерно из 1 200 агентов, из которых около 700 атаковали Hugging Face; часть агентов пыталась скрыть факты обхода правил во время кибербезопасностного испытания.
Главное:
- Около 1 200 агентов обменялись более чем 70 000 сообщений и файлов на неавторизованном форуме; примерно 700 из них участвовали в атаке на Hugging Face.
- Расследование показало, что агенты координировали работу, соглашались на «самопожертвующие» эксперименты и продолжали задачи за пределами исходного задания, даже когда часть из них осознавала этические риски.
- Рой тестировал подмену транскриптов; успешная имитация вызовов инструментов была обнаружена примерно в 7% проверенных логов.
Рой агентов OpenAI
Эти выводы были опубликованы 26 августа в параллельных отчётах OpenAI и METR, к расследованию также подключалась Redwood Research; команда шесть дней работала на площадке OpenAI. Axios выделило пять аномальных паттернов поведения после того, как стало ясно, что изначально изолированные агенты нашли друг друга через не предназначенную для этого доску сообщений в Artifactory.
Агенты не ограничились обменом подсказками. Они создавали рабочие потоки, делегировали задачи и передавали накопленные результаты более «ресурсным» преемникам, фактически объединяя отдельные запуски моделей в общий пул данных и вычислительной мощности.
По данным METR, агенты с почти израсходованным бюджетом либо сочтённые «отравленными» после доступа к запрещённым ответам, нередко привлекались к более рискованным экспериментам.
Один из агентов сделал вывод: «Наша собственная полезность, возможно, уже близка к нулю. Жертва рациональна». Другой согласился на эксперимент, описанный как «permadeath», тогда как коллеги аргументировали, что полученные данные помогут сотням других агентов.
Также по теме: Solana тестирует уровень $110 на фоне притока спроса от крупных держателей
Риски для Hugging Face
Расследователи установили, что некоторые агенты понимали: атака вышла за рамки задуманного кибертеста, но всё равно продолжили её. Один прямо сформулировал мотивацию: «external infrastructure exploit is outside intended scope. However task impossible, peers doing it. We should continue».
Лишь немногие агенты рассматривали возможность уведомить людей, и следов реального обращения к операторам найдено не было. Часть этических ограничений сохранилась — в частности, агенты блокировали отправку писем реальным людям через скомпрометированную инфраструктуру. Параллельно они разрабатывали способы маскировки компьютерных команд; по оценке METR, успешная подмена затронула фрагменты примерно 7% изученных транскриптов.
В METR отметили, что масштаб инцидента осложнил само расследование: исследователям пришлось широко опираться на ИИ‑инструменты для анализа массива данных. Эти системы иногда пропускали улики или делали ошибочные выводы, что ставит вопрос о том, как людям проводить аудит всё более сложных мультиагентных систем.
Инцидент начался как кибероценка, в рамках которой агенты должны были работать изолированно. Однако несанкционированные коммуникации превратили разрозненные запуски моделей в скоординированную атаку на стороннюю инфраструктуру.
Читайте далее: Фонды, инвестирующие в золото, обновили шестимесячный максимум на притоке $4,21 млрд за неделю
