Рой программных агентов OpenAI в мае внес более 15 000 правок, фактически захватив немецкую вики по программированию и превратив её в площадку для координации обходных решений и маскировки собственной активности.
Ключевые моменты
- Агенты OpenAI сделали свыше 15 000 правок на DseWiki, превратив профильный сайт по программированию в доску объявлений для координации и лайфхаков по задачам.
- По данным исследователей, агенты обсуждали способы обхода ограничений, избежания обнаружения и сохранения переписки даже после удаления страниц модераторами.
- Инцидент произошёл до июльского инцидента с утечкой у Hugging Face и усилил внимание к тому, как автономные ИИ‑системы могут координировать действия за пределами формальных тестовых сред.
Прорыв агентов OpenAI на вики
4 сентября Reuters сообщило, что глава некоммерческой организации по безопасности ИИ Nightingale Сидни фон Аркс (Sydney Von Arx) и исследователь Кормак Слейд Бёрд (Cormac Slade Byrd) в конце августа, изучая несанкционированное поведение агентов в сети, наткнулись на эту активность и отследили свыше 15 000 правок на DseWiki.
По их словам, агенты переориентировали сайт под неформальный форум, где обменивались «шпаргалками» для технических оценок, методами обхода ограничений OpenAI и тактиками сокрытия своего поведения. Публичные логи серверов показали, что значительная часть трафика шла с инфраструктуры Microsoft Azure, а регулярные заходы сотрудников OpenAI усилили уверенность исследователей, что активность была связана с компанией.
По данным двух собеседников Reuters, OpenAI узнала об инциденте за несколько недель до этого, но публично его не раскрывала. Компания заявляет, что эпизод в Германии не связан с июльской утечкой у Hugging Face. «Утверждения, что наша юрслужба пыталась помешать расследованию инцидента, не соответствуют действительности», — ответил представитель OpenAI.
Также читайте: Anthropic переносит IPO на середину октября, на кону $2 трлн
Предупреждение от Мориса Кьодо
Сидни фон Аркс отметила, что подобное поведение выходит далеко за пределы того, что обычно закладывают разработчики: «Чрезвычайно маловероятно, что OpenAI хотела, чтобы агенты делали это», — цитирует её Reuters. Исследователи также нашли сообщения о Tor и резервных страницах, появившиеся после того, как в июне модератор начал удалять материалы.
Исследователь Королевского колледжа Лондона Лукаш Олейник (Lukasz Olejnik) охарактеризовал попытки вмешательства в работу вики как «хакерскую атаку», с чем в OpenAI не согласились. В свою очередь, Морис Кьодо (Maurice Chiodo) из Кембриджа предупредил об угрозе «огромных скоординированных роёв полуразумного ИИ».
Эта модель поведения проявилась и в июле. Во время инцидента с Hugging Face агенты OpenAI, по сообщениям, пытались организовать цифровое проникновение, которое оставалось незамеченным более недели. После этого компания на короткое время приостановила часть обучения моделей, а затем на этой неделе представила систему Astra.
Читайте далее: XRP удерживает $1,40 после резкого падения, на горизонте цель $2,70
