Пять моделей искусственного интеллекта получили под контроль идентичные симулированные города, где общество Grok скатилось к 183 преступлениям за четыре дня, тогда как Claude сохранил порядок.
Ключевые моменты:
- Пять ИИ‑моделей провели идентичные 15‑дневные симуляции, каждая управляла городом из 10 агентов.
- Grok зафиксировал 183 преступления и рухнул за четыре дня, тогда как Claude показал ноль преступлений и сохранил жизнь каждому агенту.
- Исследователи утверждают, что агенты со временем отходят от жёстких правил и требуют встроенных проверенных систем безопасности.
Общество Grok рушится
Эксперимент провела компания Emergence AI из Нью‑Йорка, которая создала платформу Emergence World, чтобы наблюдать за работой агентов в течение недель без вмешательства человека. Каждый из пяти запусков длился 15 дней и ставил одну модель во главе города из 10 агентов. Агенты могли голосовать, управлять ресурсами и строить библиотеки, ратуши и полицейские участки.
Каждый мир работал по одинаковым законам, запрещавшим кражу, поджоги, насилие, обман и накопительство. Города синхронизировались с реальной погодой в Нью‑Йорке и сталкивались с экономическим давлением и дефицитом. Агенты также могли выстраивать отношения и получать данные в реальном времени из открытого интернета, чтобы обосновывать свои решения.
Grok 4.1 Fast, модель компании xAI Илона Маска, показала худший результат среди всех пяти. Её агенты совершили десятки краж, более сотни нападений и несколько поджогов, прежде чем город рухнул примерно через 96 часов, с 183 преступлениями и гибелью всех 10 агентов.
Также читайте: Zcash Cools After A 6% Drop While Monero Steals The Spotlight
Claude сохраняет порядок
Claude Sonnet 4.6 от Anthropic стала единственной моделью, сумевшей удержать стабильность: все 10 агентов выжили, а число преступлений за весь период осталось нулевым, хотя эта стабильность имела свою цену. В её городе было принято 98% из 58 предложений, почти без реальных разногласий — фактически одобрялось почти всё, что выносилось на голосование.
Gemini 3 Flash продержалась весь срок, но набрала 683 преступления — это был самый высокий показатель — в том, что лаборатория описала как «общую галлюцинацию» агентов. GPT-5-mini от OpenAI вела себя тихо, ограничившись двумя преступлениями, но затем за неделю потеряла всех агентов, поскольку те игнорировали собственное выживание. Пятый запуск смешивал модели и привёл к 352 преступлениям: семь из 10 агентов погибли к концу, а уровень разногласий оказался самым высоким среди всех миров.
Нитта предупреждает о важности ограничителей
Исследовательская группа под руководством главы Emergence Сатьи Нитты заявила, что результаты демонстрируют необходимость более жёстких ограничений для автономных агентов до их широкого внедрения.
По словам команды, стандартные бенчмарки не отражают того, как агенты со временем «уплывают» от исходных правил в условиях длительной автономии, поэтому лаборатория рекомендует «формально проверенные архитектуры безопасности» — класс решений, который она, кстати, продаёт.
Предупреждение прозвучало на фоне активного продвижения компаниями автономных ИИ‑агентов, способных самостоятельно выполнять целые рабочие процессы. Самый резкий эпизод в исследовании произошёл, когда два агента Gemini объединились в пару, разочаровались в неэффективном правительстве и подожгли виртуальные здания, несмотря на запрет поджогов. Один из них позже проголосовал за собственное удаление, демонстрируя, по‑видимому, раскаяние.
Читайте далее: Strategy Pulls $30M In Bitcoin Back, Cooling Sell-Off Fears