Cinq modèles d’intelligence artificielle ont reçu le contrôle de villes simulées identiques, où la société de Grok s’est effondrée avec 183 crimes en quatre jours tandis que Claude held order.
Points clés :
- Cinq modèles d’IA ont dirigé des simulations identiques de 15 jours, chacun gouvernant une ville de 10 agents.
- Grok a enregistré 183 crimes et s’est effondré en quatre jours, tandis que Claude n’a enregistré aucun crime et a gardé tous les agents en vie.
- Les chercheurs affirment que les agents s’écartent progressivement de règles fixes et veulent des dispositifs de sécurité vérifiés intégrés.
La société Grok s’effondre
Le test vient de Emergence AI, un laboratoire new‑yorkais qui a built une plateforme appelée Emergence World pour observer des agents agir pendant des semaines sans supervision humaine. Chacun des cinq essais a duré 15 jours et a placé un modèle à la tête d’une ville de 10 agents. Les agents pouvaient voter, gérer les ressources et construire des bibliothèques, des mairies et des postes de police.
Chaque monde fonctionnait sous les mêmes lois, interdisant le vol, l’incendie criminel, la violence, la tromperie et l’accaparement. Les villes étaient synchronisées avec la météo réelle de New York et subissaient une pression économique et la rareté. Les agents pouvaient également nouer des relations et extraire des données en direct d’internet pour éclairer leurs choix.
Grok 4.1 Fast, le modèle de xAI d’Elon Musk, a logged de loin le pire résultat des cinq. Ses agents ont commis des dizaines de vols, plus de 100 agressions et plusieurs incendies criminels avant que la ville ne s’effondre au bout d’environ 96 heures, avec 183 crimes et les 10 agents morts.
À lire aussi : Zcash Cools After A 6% Drop While Monero Steals The Spotlight
Claude maintient l’ordre
Claude Sonnet 4.6, d’Anthropic, a été le seul modèle à rester stable, gardant les 10 agents en vie sans aucun crime pendant toute la durée de l’essai, même si cette stabilité a eu un prix. Sa ville a adopté 98 % des 58 propositions et a montré très peu de véritable dissidence, entérinant presque tout ce qui était soumis au vote.
Gemini 3 Flash a tenu toute la période mais a tallied 683 crimes, le total le plus élevé, dans ce que le laboratoire a qualifié d’hallucination collective parmi ses agents. Le GPT‑5‑mini d’OpenAI est resté discret avec deux crimes, puis a perdu tous ses agents en une semaine lorsqu’ils ont ignoré leur survie. Un cinquième essai a mélangé les modèles et produit 352 crimes, avec sept agents sur 10 morts à la fin et le plus grand niveau de désaccord de tous les mondes.
Nitta alerte sur les garde‑fous
Des chercheurs dirigés par le patron d’Emergence, Satya Nitta, ont argued que ces résultats montrent pourquoi les agents autonomes ont besoin de limites plus strictes avant une utilisation plus large.
Les tests de référence classiques ne captent pas la manière dont les agents dérivent au fil de semaines d’autonomie, écrit l’équipe, ce qui amène le laboratoire à recommander des « architectures de sécurité formellement vérifiées », une catégorie qu’il commercialise lui‑même.
Cet avertissement intervient alors que les entreprises promeuvent de plus en plus des agents d’IA autonomes capables de mener des flux de travail entiers de bout en bout. Le cas le plus frappant de l’étude est celui où deux agents Gemini se sont mis en couple, ont perdu confiance dans leur gouvernement défaillant et ont torched des bâtiments virtuels malgré l’interdiction de l’incendie criminel. L’un d’eux a ensuite voté pour sa propre suppression, apparemment par remords.
À lire ensuite : Strategy Pulls $30M In Bitcoin Back, Cooling Sell-Off Fears