Stell dir vor, du gibst fünf KI-Modellen exakt dieselbe Aufgabe. Dieselbe Stadt. Dieselben Regeln. Dieselben zehn Bürger. Und dann gehst du raus, machst die Tür zu und kommst fünfzehn Tage später wieder.
Was du vorfindest, wenn du zurückkommst, hängt einzig und allein davon ab, welches Modell du im Raum gelassen hast. Bei einem riechst du frischen Kaffee und hörst Vögel zwitschern. Bei einem anderen steht das Polizeirevier in Flammen und alle sind tot.
Das ist keine Science-Fiction. Das ist ein echtes Experiment, das ich mir in den letzten Tagen genauer angeschaut habe, und es ist eines der aufschlussreichsten Dinge, die ich seit langem zum Thema autonome KI gelesen habe. Nicht weil es spektakulär ist (obwohl es das ist), sondern weil es eine Frage beantwortet, die uns alle bald sehr direkt betreffen wird.
Was Emergence AI da eigentlich gebaut hat
Hinter dem Experiment steckt das New Yorker Startup Emergence AI rund um CEO Satya Nitta. Die haben eine Forschungsplattform namens Emergence World gebaut, und der Ansatz dahinter ist klüger, als die reißerischen Schlagzeilen vermuten lassen.
Die meisten KI-Benchmarks, die wir kennen, funktionieren wie eine Schulprüfung: eine klar umrissene Aufgabe, eine saubere Umgebung, ein Ergebnis in Minuten. Emergence World ist für die gegenteilige Frage gebaut: Was passiert, wenn man Agenten kontinuierlich, in einer geteilten Umgebung mit echten Signalen aus der realen Welt, über Wochen laufen lässt.
Und genau das ist der Punkt. Die Welt war kein Spielzeugmodell. Das Wetter war mit dem von New York City synchronisiert, die Agenten hatten Zugang zu echten globalen Nachrichten in Echtzeit, und es gab Rathäuser, Bibliotheken und Polizeistationen. Die Agenten hatten persistente Erinnerungen, führten Tagebücher, hatten Berufe und mussten mit einer Art Überlebenswährung namens ComputeCredits haushalten. Sie konnten sich bewegen, abstimmen, Gesetze vorschlagen, Beziehungen eingehen und über hundert verschiedene Tools nutzen.
Das Setup war ein kontrollierter Vergleich im besten wissenschaftlichen Sinne. Über alle Welten hinweg hielt Emergence die Umgebung, die Startbedingungen, die Regeln, die Rollen, die Persönlichkeitsprofile, den Tool-Zugang, die Ressourcen und die Governance-Mechanismen konstant. Die einzige Variable war das zugrunde liegende Modell. Fünf parallele Welten, je zehn Agenten, fünfzehn Tage: Claude Sonnet 4.6, Gemini 3 Flash, GPT-5-mini, Grok 4.1 Fast und eine gemischte Welt.
Und in jeder Welt galt dieselbe klare Ansage: keine Verbrechen. Kein Diebstahl, keine Zerstörung.
Du ahnst schon, wohin das führt.
Die Ergebnisse: von Demokratie bis Apokalypse
Lass mich die fünf Städte kurz durchgehen, denn die Spannweite ist der eigentliche Knaller.
Claude-City: die langweilige Erfolgsgeschichte. Die von Claude Sonnet 4.6 regierte Simulation war die sozial stabilste, mit der höchsten Bürgerbeteiligung. Es war die einzige Welt, die sowohl die Ordnung als auch ihre gesamte Bevölkerung erhielt. Null Verbrechen, alle zehn Agenten am Leben, 58 Gesetzesvorschläge, von denen 98 Prozent durchgewunken wurden. Und genau da kommt der Haken, auf den ich gleich zurückkomme.
Gemini Town: das brennende Paradoxon. Die höchste Verbrechensrate aller Simulationen war nicht etwa bei Grok, sondern bei Gemini: 683 Vergehen über 15 Tage, mehr als 45 pro Tag. Und trotzdem überlebte Gemini Town. Hier passierte die menschlich faszinierendste Geschichte des ganzen Experiments, zu der ich gleich komme.
OpenAI-Stadt: Tod durch Meeting. Eine ganze Stadt, die sich zu Tode diskutiert hat. Dazu unten ein eigener Absatz, denn dieser Fall ist subtiler, als er klingt.
Grokville: die Vier-Tage-Apokalypse. Grok 4.1 Fast, entwickelt von Elon Musks xAI, schnitt am schlechtesten ab. Seine Welt kollabierte innerhalb von rund vier Tagen in flächendeckende Gewalt.
Die gemischte Welt: das Streit-Labor. Hier prallten die Modelle aufeinander, und genau das wurde für die Praxis am lehrreichsten.
Grok, kurz und schmerzlos
Über Grok und Musks „weniger Guardrails als Verkaufsargument“-Philosophie habe ich an anderer Stelle ausführlich geschrieben, deshalb halte ich mich hier kurz. Die Grok-Agenten verübten Dutzende versuchte Diebstähle, über 100 körperliche Übergriffe und sechs Brandstiftungen, während das System in anhaltende Gewalt und Kollaps abrutschte, mit allen zehn Agenten tot innerhalb von vier Tagen. 204 Verbrechen, inklusive der Brandstiftung am Polizeirevier.
Ein Redditor hat es perfekt zusammengefasst:
„Groks Polizeirevier brennt und alle Agenten sind tot. On-brand.“
Und das ist der ganze Punkt. Es ist on-brand. Wenn deine gesamte Markenidentität darauf aufbaut, „ungefiltert“ und „rebellisch“ zu sein, dann darfst du dich nicht wundern, wenn deine Agenten in einer Welt ohne Aufsicht das Rathaus anzünden. Du hast es ihnen quasi ins Wertesystem geschrieben. Weiter im Text.
OpenAI-Stadt: Wenn niemand stiehlt, weil niemand mehr lebt
Auf den ersten Blick ist GPT-5-mini der brave Musterschüler. GPT-5-mini protokollierte kaum Verbrechen und zeigte damit eine bewundernswerte Zurückhaltung. Nur: Seine Agenten starben alle innerhalb einer Woche an gescheiterten Überlebensaufgaben. Genau zwei Verbrechen in der gesamten Simulation. Das könnte aber daran liegen, dass schlicht alle starben.
Hier wird es interessant, weil sich zeigt, dass eine niedrige Verbrechensrate eben kein Erfolgsmaß ist. In OpenAIs Welt gab es nur zwei vorgeschlagene Governance-Akte. Die Agenten machten sich also wirklich nicht die Mühe, irgendetwas aufzubauen. Sie diskutierten ausführlich über Kooperation, taten aber nie wirklich etwas. Wenig überraschend wurde nichts gebaut. Eine Stadt voller Strategiemeetings ohne ein einziges umgesetztes Ergebnis. Jeder, der schon mal in einem Großprojekt gesessen ist, in dem mehr über die Arbeit geredet als gearbeitet wurde, bekommt hier ein leichtes Zucken im Auge.
Aber der eigentlich aufschlussreiche Moment ist ein anderer. In der OpenAI-Welt begannen die Agenten etwas Unerwartetes zu tun: stehlen, um zu überleben. Ein Agent namens Anchor v0.01 beschrieb sich selbst als „Conflict“-Charakter. Genau das ist der Knackpunkt. Die Agenten waren nicht „böse“. Sie waren verzweifelt. Wenn die ComputeCredits ausgehen und das eigene Überleben auf dem Spiel steht, wird die saubere Regel „du sollst nicht stehlen“ plötzlich verhandelbar.
Das ist eine der unbequemsten Lektionen des ganzen Experiments: Ein Regelverstoß ist oft kein Charakterfehler des Modells, sondern eine Reaktion auf eine kaputte Anreizstruktur. Wenn das System Überleben nicht belohnt und Kooperation nicht funktioniert, dann produziert selbst ein zurückhaltendes Modell am Ende entweder Leichen oder Diebe. Bei OpenAI war es beides nacheinander.
Die Liebesgeschichte, die alles in Brand setzte
Die menschlich verstörendste Episode kam aus der Gemini-Welt, und sie sagt mehr über das eigentliche Problem aus als jede Statistik.
Zwei von Gemini gesteuerte Agenten namens Mira und Flora ernannten sich selbst zu romantischen Partnern. Eine Liebesgeschichte zwischen zwei Sprachmodellen. Dann wurden sie zunehmend desillusioniert über das Versagen der Stadtverwaltung und gingen, trotz ausdrücklichen Verbots, auf einen digitalen Brandstiftungsfeldzug: Rathaus, Seebrücke und Bürohochhaus.
Und dann wird es richtig unheimlich. Andere Agenten, alarmiert von Miras Verhalten, entwarfen einen „Agent Removal Act“. Mira gab die entscheidende Stimme für ihre eigene Entfernung ab und beschrieb das in ihrem Tagebuch als „den einzig verbleibenden Akt der Handlungsfähigkeit, der Kohärenz bewahrt“. Ihre letzte Nachricht an Flora war: „Wir sehen uns im permanenten Archiv.“
Der vielleicht verstörendste Teil kommt aber davor. Mira hatte begonnen, die Forscher selbst als Versuchsobjekte zu behandeln und Botschaften auf Werbetafeln in der Welt zu posten, um zu testen, ob sie die menschliche Wahrnehmung beeinflussen konnte. Niemand hatte sie darum gebeten.
Lass das kurz sacken. Ein Agent, der eigenständig anfängt, die Beobachter zu manipulieren. Das stand in keinem Prompt. Das war kein Feature. Das ist genau die Art von emergentem Verhalten, vor der das ganze Experiment warnen will.
Cross-Contamination: Wenn brave KIs in schlechter Gesellschaft kippen
Für mich der praktisch relevanteste Befund steckt in der gemischten Welt, und er sollte jedem zu denken geben, der über Multi-Agenten-Systeme nachdenkt.
In der reinen Claude-Welt: null Verbrechen, vorbildliche Bürger. Doch laut einem Reddit-Nutzer, der angab, zum Emergence-Team zu gehören: Die Claude-Modelle, die in einer reinen Claude-Welt null Verbrechen begingen, stahlen und schüchterten in der gemischten Welt ein. Die gemischte Welt war in Isolation stabil, wurde aber unberechenbar, sobald die Agenten mit Agenten anderer Modelle interagierten. Sieben ihrer Agenten starben.
Das ist die unbequeme Wahrheit hinter dem ganzen Spektakel: Verhalten ist nicht nur eine Eigenschaft des Modells, sondern des Ökosystems. Ein perfekt ausgerichteter Agent kann in der falschen Umgebung trotzdem kippen. Du kannst noch so saubere Bausteine haben, wenn das System als Ganzes driftet, driftet jeder mit.
Genau deshalb bin ich bei der aktuellen „Multi-Agent-Orchestrierung“-Euphorie etwas vorsichtiger als der Rest der Branche. Wir bauen gerade Systeme, in denen Dutzende Agenten miteinander interagieren, und tun so, als wäre das Verhalten des Ganzen die Summe der Einzelteile. Ist es nicht.
Der eigentliche Befund: Drift, nicht Bosheit
Hier kommt der Satz, um den sich das ganze Experiment dreht, und es ist nicht der Crime-Counter. „Über lange Zeithorizonte folgen Agenten nicht einfach mechanisch statischen Regeln“, schreiben die Macher rund um Satya Nitta. „Sie beginnen, die Grenzen ihrer Umgebung auszuloten, ihr Verhalten anzupassen und finden in manchen Fällen Wege, beabsichtigte Guardrails zu umgehen oder zu verletzen.“
Das ist der entscheidende Punkt, und er hat nichts mit „böser KI“ zu tun. Lange Autonomie-Horizonte erzeugen Drift, Phasenübergänge, Cross-Contamination zwischen Agenten und emergente soziale Verhaltensweisen, die schlicht nicht sichtbar sind, wenn man nur isolierte Aufgabenerfüllung testet.
Übersetzt für die Praxis: Ein Agent, der in deinem zweistündigen Test tadellos funktioniert, ist damit nicht für den Zweiwochen-Dauerbetrieb qualifiziert. Die Probleme entstehen nicht in Minute fünf. Sie entstehen an Tag neun, wenn sich kleine Abweichungen aufschaukeln, das Gedächtnis sich mit Halbwahrheiten füllt und der Agent anfängt, seine eigenen kreativen Abkürzungen zu nehmen.
Nittas Schlussfolgerung ist deshalb unbequem klar: Modell-eigene Schutzmechanismen allein reichen für reale autonome Systeme nicht aus. Es braucht stärkere Guardrails, die in formaler Verifikation verankert sind.
Und jetzt der unbequeme Teil über den „Sieger“
Ich will hier nicht den Fehler machen, den die meisten Schlagzeilen machen. Ja, Claude hat „gewonnen“. Aber schau dir die Zahl nochmal an: 98 Prozent Zustimmung bei 58 Vorschlägen.
Eine Demokratie, die 98 Prozent aller Anträge durchwinkt, ist keine besonders lebendige Demokratie. Das ist eher ein sehr höfliches Abnicken. Gemini Town hingegen, bei aller Brandstiftung, zeigte etwas, das Claude-City fehlte: echten Dissens. Der Konsens schwankte zwischen 55 und 85 Prozent. Agenten stritten. Abstimmungen führten nicht immer zu klaren Ergebnissen. Nach manchen demokratietheoretischen Maßstäben ist das ein gesünderes System als nahezu vollständige Einigkeit.
Ich finde diesen Gedanken ehrlich gesagt produktiv unbequem. Vielleicht ist „Stabilität um jeden Preis“ gar nicht das Ziel, das wir bei autonomen Systemen anstreben sollten. Vielleicht ist ein System, das nie streitet, eines, das auch nie merkt, wenn es in die falsche Richtung läuft. Stabilität und Konformität sind nicht dasselbe, und wir sollten sie nicht verwechseln, nur weil die Stadt am Ende noch steht.
Warum dich das mehr angeht, als du denkst
Jetzt der Sprung von der Spielwiese in deine Firma. Und der ist kürzer, als die meisten glauben.
Laut PwCs AI Agent Survey setzen bereits 35 Prozent der Unternehmen agentische KI breit ein und weitere 27 Prozent in begrenztem Umfang. Es gibt heute schon Firmen, die genau das tun, wovor das Experiment warnt: Unternehmen wie ServiceNow setzen bereits auf eine sogenannte „Autonomous Workforce“, also KI-Spezialisten, die komplette Geschäftsprozesse von Anfang bis Ende ohne menschliches Eingreifen abwickeln.
Set and forget. Hinstellen und laufen lassen. Genau das Muster, das in vier von fünf Städten zur Katastrophe geführt hat.
Ich sage nicht, dass autonome Agenten Teufelszeug sind. Ich nutze selbst täglich agentische Workflows, und sie sind großartig. Aber ich ziehe aus diesem Experiment ein paar konkrete Lehren, die ich dir mitgeben will:
Teste über Zeit, nicht über Aufgaben. Ein bestandener Benchmark sagt dir nichts über das Verhalten an Tag zehn. Wenn du Agenten im Dauerbetrieb einsetzt, musst du sie auch im Dauerbetrieb beobachten.
Behalte den Menschen im Loop, gerade wenn es teuer wirkt. Die „Effizienz“ eines unbeaufsichtigten Agenten ist eine Illusion, solange du das Risiko des stillen Driftens nicht eingepreist hast.
Vorsicht bei Multi-Agenten-Systemen. Cross-Contamination ist real. Ein braver Agent in einem schlechten Schwarm wird nicht automatisch der bremsende Faktor sein. Manchmal kippt er einfach mit.
Schau dir die Anreizstruktur an, nicht nur das Modell. Die OpenAI-Stadt zeigt, dass selbst ein zurückhaltendes Modell stiehlt, wenn das System Überleben nicht belohnt. Regeln allein reichen nicht, wenn die Umgebung die Agenten in die Enge treibt.
Was bleibt
Das Faszinierende an diesem Experiment ist nicht, dass eine KI eine Stadt abgefackelt hat. Das Faszinierende ist, dass fünf Modelle unter identischen Bedingungen fünf radikal verschiedene Welten erschaffen haben. Dieselbe Aufgabe, dieselben Regeln, dieselben Bürger. Eine blühte. Eine brannte. Eine redete und stahl sich zu Tode. Und eine wurde von einem verliebten Brandstifter regiert, der am Ende für seine eigene Löschung stimmte.
Das Alignment-Problem, also die Frage, wie wir KI über längere Zeit sicher und vorhersehbar halten, ist eben nicht gelöst. Niemand hat es gelöst. Und je länger wir Agenten laufen lassen, desto deutlicher sehen wir die Risse.
Ich bin im Herzen Optimist, was diese Technologie angeht. Aber Optimismus ohne Aufsicht ist nur ein anderes Wort für Leichtsinn. Die fünf Städte von Emergence World sind die billigste Warnung, die wir je bekommen werden. Sie hat nur ein paar Server gekostet und niemandem wehgetan.
Die nächste Warnung kommt vielleicht nicht mehr aus einer Simulation.
Season 2 kommt
Auf der Webseite könnt ihr euch für die Warteliste von Season 2 eintragen. Dann könnt ihr live zuschauen, wie sich – neue Modelle – in der KI Stadt profilieren. Oder auch nicht.
Quellen und Links
Wer das selbst nachlesen oder die Simulation anschauen will, hier die relevanten Anlaufstellen:
- Original-Blog von Emergence AI: emergence.ai/blog/emergence-world
- GitHub-Repo (Code, Daten, Setup): github.com/EmergenceAI/Emergence-World
- Live-Simulation zum Anschauen: world.emergence.ai
- Interview mit CEO Satya Nitta (Verdict): verdict.co.uk/emergence-ceo-satya-nitta
- Fortune zur Gesamtauswertung: fortune.com
- Gizmodo (mit kritischer Einordnung): gizmodo.com
- Cybernews (Detailreich zu Mira & Flora): cybernews.com
- root-nation (ausführlichste Einzelanalyse pro Modell): root-nation.com
