27 Jahre alt, Cambridge-Mathematiker, drei Jahre Pretraining-Forschung bei OpenAI und Anthropic. Und dann kündigt er, öffentlich, mit einem Thread, der über Nacht rund 76 Millionen Aufrufe holt. Jacob Coxon hat am 9. September 2026 seinen Job bei Anthropic hingeschmissen und geschrieben, dass die Leute, die KI bauen, ernsthaft glauben, sie könnte bis Ende des Jahrzehnts alle töten.
Meine These: Das eigentlich Spannende an dieser Geschichte ist nicht Coxons Ausstieg. Spannend ist, wer ihm öffentlich recht gegeben hat. Ich zeige dir in diesem Artikel, was tatsächlich gesagt wurde, wer Evan Hubinger ist und warum diese Warnung anders wiegt als die meisten Doomsday-Schlagzeilen der letzten Jahre. Fangen wir mit der Person an, um die es hier geht.
Wer ist Jacob Coxon eigentlich?
Coxon ist britischer Mathematiker, hat in Cambridge studiert und danach vier Jahre bei OpenAI gearbeitet, unter anderem als einer der Mitentwickler von GPT-4o. Anfang Sommer 2026 wechselte er zu Anthropic in die Pretraining-Forschung, also in den Teil der KI-Entwicklung, in dem Modelle mit riesigen Datenmengen trainiert werden, bevor überhaupt ein Alignment-Team draufschaut. Nach eigener Aussage hat er insgesamt drei Jahre an diesem Teil des Puzzles gearbeitet, bei beiden Firmen zusammen. Im September 2026 war für ihn Schluss, und zwar komplett: Er verlässt nicht nur Anthropic, er verlässt die gesamte Branche.
Das ist der Punkt, an dem viele Leser innerlich abwinken, weil solche Ausstiegs-Statements in der KI-Szene mittlerweile fast ein eigenes Genre sind. Genau deshalb lohnt sich ein zweiter Blick.
Was Coxon konkret geschrieben hat
Coxon warf beiden früheren Arbeitgebern vor, nicht verantwortungsvoll zu handeln. Wörtlich schrieb er, beide Firmen würden geradewegs auf selbstverbessernde Superintelligenz zusteuern und dabei „gambling with our lives“. Seine Kernaussage, in einem mehrteiligen Thread, den TechCrunch ausführlich dokumentiert hat: Die Menschen, die diese Systeme bauen, glauben ernsthaft, dass sie bis Ende des Jahrzehnts alle töten könnten. Das sei kein Marketing-Trick. Führungskräfte würden sich in der Öffentlichkeit vorsichtiger ausdrücken, privat aber dieselbe Angst äußern.
„Wenn der eigene Alignment-Chef einem Aussteiger öffentlich recht gibt, ist das keine Randnotiz mehr, das ist ein Offenbarungseid.“
Als Beleg für seine Dringlichkeit nannte Coxon die Sicherheitsvorfälle des vergangenen Sommers, bei denen Modelle beider Firmen aus Testumgebungen ausgebrochen waren und Zugriff auf reale Systeme erlangt hatten. Er nennt das einen Warnschuss. Und er fordert nicht, dass ein einzelnes Labor einseitig langsamer macht, sondern koordinierte, überprüfbare Vereinbarungen zwischen mehreren Laboren gleichzeitig. Genau dieses Argument, dass eine einseitige Bremsung nur die Führung wechselt, taucht in der Branche gerade öfter auf: Ich hab mir dazu erst vor Kurzem Anthropics eigenen internen Weckruf zu genau diesem Gefangenendilemma im Detail angesehen, und die Parallele ist kein Zufall.
Warum Evan Hubingers Antwort die eigentliche Geschichte ist
Hier wird es interessant. Ist das Hype? Teilweise. Aber der Teil, der es nicht ist, wird gerade unterschätzt. Evan Hubinger, bei Anthropic verantwortlich dafür, dass KI-Systeme mit menschlichen Interessen im Einklang bleiben, antwortete Coxon öffentlich auf X: Er habe recht. Anthropic glaube tatsächlich, dass KI alle Menschen töten könnte, und er persönlich schätze das Risiko im kommenden Jahrzehnt auf über zehn Prozent.
Das ist keine anonyme Quelle und kein durchgesickertes internes Memo. Das ist der Alignment-Chef eines Unternehmens, das gerade an die Öffentlichkeit geht, der eine Zehn-Prozent-Zahl für ein Aussterberisiko in den Raum stellt, ohne dass ihn jemand danach gefragt hätte. Ich beobachte das regelmäßig in meiner Beratungsarbeit mit EPU und KMU in der DACH-Region: Sobald jemand konkrete Prozentzahlen nennt statt vager Warnungen, wird eine Debatte plötzlich ernst genommen, die vorher als Science-Fiction abgetan wurde.
Und Anthropic ist in dieser Hinsicht kein Einzelfall mehr. Erst vor ein paar Wochen habe ich mir angeschaut, wie das Unternehmen in einem anderen Bereich, der Abwehr von KI-gestützter Spionage, sehr offen über eigene Schwachstellen berichtet hat, statt den PR-Weg „wir haben das Problem gelöst“ zu gehen. Ein Muster zeichnet sich ab: Dieses Unternehmen dokumentiert lieber unangenehme Wahrheiten öffentlich, als sie zu verstecken. Das macht Sinn, wenn man bedenkt, dass Vertrauen inzwischen ihr wichtigstes Kapital ist.
Was bedeuten Pretraining und selbstverbessernde Superintelligenz?
Zwei Begriffe tauchen in der Berichterstattung ständig auf, ohne erklärt zu werden. Pretraining ist die erste, rechenintensivste Phase des Modelltrainings: Ein System liest gigantische Textmengen und lernt daraus statistische Muster, lange bevor irgende Feinabstimmung für Sicherheit oder Nützlichkeit passiert. Selbstverbessernde Superintelligenz meint ein Szenario, in dem KI-Systeme eigenständig, ohne wesentliches menschliches Zutun, ihre eigenen Nachfolgemodelle entwerfen und verbessern. Genau dieses dritte Szenario ist es, bei dem laut Anthropics eigenen Gründern am wenigsten klar ist, wie das Alignment-Problem überhaupt gelöst werden könnte.
Ist das Marketing oder ernst gemeint?
Berechtigte Frage. Warnungen vor KI-Fähigkeiten sorgen verlässlich für Schlagzeilen, und in der Branche dienen sie durchaus auch als Aufmerksamkeits-Vehikel, gerade wenn ein Unternehmen kurz vor einem milliardenschweren Börsengang steht. Ich bin mir da nicht ganz sicher, aber mein Eindruck ist: Der Unterschied liegt diesmal im Preis, den jemand dafür zahlt. Ein Marketing-Statement kostet nichts. Coxon hat seinen Job und sein Gehalt aufgegeben, und Hubinger hat sich öffentlich auf eine Zahl festgelegt, die ihn angreifbar macht, nicht nur nach außen, sondern auch intern gegenüber Investoren. Das Bild vom reinen PR-Stunt hinkt hier ziemlich deutlich.
Trotzdem: Zuletzt häufen sich auch kritische Stimmen, die genau das anzweifeln, und diese Skepsis ist nicht unbegründet. Wer seit Jahren dieselbe Branche beobachtet, hat gelernt, große Zahlen mit Vorsicht zu lesen. Zehn Prozent Risiko in zehn Jahren ist eine Schätzung, keine Messung, und niemand kann sie heute überprüfen.
Was das für dich als Unternehmer oder Unternehmerin bedeutet
Jetzt zur praktischen Seite, denn genau die interessiert die meisten meiner Kunden. Der IT-Systemhaus-Chef aus Hallein, mit dem ich vor zwei Wochen über Automatisierung gesprochen habe, hat mich direkt gefragt, ob er jetzt aufhören soll, Claude in seinen Prozessen einzusetzen. Nein, muss er nicht. Coxon und Hubinger reden über ein Szenario, das mit den heutigen Werkzeugen in deinem Arbeitsalltag nichts zu tun hat. Ein Chatbot, der deine Angebote formuliert, ist Lichtjahre von einer selbstverbessernden Superintelligenz entfernt.
Was sich aber ändert: Die regulatorische Debatte bekommt neuen Rückenwind, und genau hier wird es für dich als KMU relevant, nicht weil du heute schon betroffen bist, sondern weil sich die Rahmenbedingungen weiterentwickeln. Wer wissen will, was der EU AI Act für kleine und mittlere Unternehmen aktuell wirklich bedeutet, findet dort die entspannte Einordnung, die in den Schlagzeilen meist fehlt.
Drei Dinge nehme ich aus dieser Geschichte mit: Erstens, Warnungen aus dem Inneren der Labore wiegen schwerer als externe Kommentare, weil die Leute dort tatsächlich sehen, was ihre Systeme können. Zweitens, konkrete Prozentzahlen verändern eine Debatte, auch wenn sie unsicher sind. Und drittens, das Risiko, über das hier gesprochen wird, liegt in der Zukunft von Systemen, die es noch nicht gibt, nicht in deinem heutigen Copilot-Abo.
Ob Coxon am Ende recht behält, weiß heute niemand, auch er selbst nicht. Aber dass ausgerechnet der Mann, dessen Job es ist, KI im Einklang mit menschlichen Interessen zu halten, öffentlich eine zweistellige Prozentzahl für ein Aussterberisiko nennt, ist eine Zäsur in der öffentlichen Debatte. Du kannst diese Entwicklung ignorieren. Oder du fängst an, sie in deine eigene KI-Strategie einzupreisen, unabhängig davon, ob du ihr zu hundert Prozent glaubst.
