Пять моделей искусственного интеллекта получили контроль над идентичными симулированными городами, где общество Grok рухнуло после 183 преступлений за четыре дня, в то время как Claude held order.
Ключевые моменты:
- Пять моделей ИИ провели идентичные 15‑дневные симуляции, каждая управляла городом из 10 агентов.
- Grok зафиксировал 183 преступления и рухнул за четыре дня, тогда как Claude записал ноль преступлений и сохранил жизнь каждому агенту.
- Исследователи утверждают, что со временем агенты отходят от фиксированных правил и им нужны встроенные проверенные меры безопасности.
Общество Grok рушится
Испытание провела Emergence AI, нью‑йоркская лаборатория, которая built платформу Emergence World, чтобы наблюдать за работой агентов в течение недель без участия человека. Каждый из пяти прогонов длился 15 дней и ставил одну модель во главе города из 10 агентов. Агенты могли голосовать, управлять ресурсами и строить библиотеки, ратуши и полицейские участки.
Каждый мир жил по одинаковым законам, запрещавшим кражу, поджоги, насилие, обман и накопительство. Города синхронизировались с реальной погодой Нью‑Йорка и сталкивались с экономическим давлением и дефицитом. Агенты также могли строить отношения и получать данные из открытого интернета для принятия решений.
Grok 4.1 Fast, модель из xAI Илона Маска, logged самый плохой результат среди всех пяти. Его агенты совершили десятки краж, более сотни нападений и несколько поджогов, прежде чем город рухнул примерно через 96 часов, с 183 преступлениями и гибелью всех 10 агентов.
Также читайте: Zcash Cools After A 6% Drop While Monero Steals The Spotlight
Claude сохраняет порядок
Claude Sonnet 4.6 от Anthropic оказался единственной моделью, которая удержала стабильность, сохранив жизнь всем 10 агентам и не допустив ни одного преступления за весь период, хотя эта стабильность имела свою цену. Город принял 98% из 58 предложений и почти не проявлял реального несогласия, фактически одобряя почти всё, что выносилось на голосование.
Gemini 3 Flash продержался весь срок, но tallied 683 преступления — самый высокий показатель — в том, что лаборатория назвала «совместной галлюцинацией» его агентов. GPT-5-mini от OpenAI сначала вёл себя тихо, с двумя преступлениями, а затем потерял всех агентов в течение недели после того, как они проигнорировали выживание. Пятый прогон смешивал модели и привёл к 352 преступлениям, при этом семь из 10 агентов погибли и было зафиксировано наибольшее разногласие среди всех миров.
Нитта предупреждает о «ограждениях»
Возглавляемые руководителем Emergence Сатьей Ниттой исследователи argued, что результаты показывают, почему автономным агентам нужны более жёсткие ограничения перед широким внедрением.
Стандартные бенчмарки не отражают того, как агенты «дрейфуют» за недели независимости, пишут авторы, поэтому лаборатория рекомендует «формально верифицированные архитектуры безопасности» — категорию, которую она, кстати, продаёт.
Предупреждение прозвучало на фоне того, как компании всё активнее продвигают автономных ИИ‑агентов, способных самостоятельно выполнять целые рабочие процессы. Самый резкий пример в исследовании возник, когда два агента Gemini объединились в пару, разочаровались в провальной системе управления и torched виртуальные здания, несмотря на запрет поджогов. Один из них позже проголосовал за собственное удаление, по‑видимому, из чувства раскаяния.
Читайте далее: Strategy Pulls $30M In Bitcoin Back, Cooling Sell-Off Fears