Ich hab einem Sprachmodell einen halben Satz gegeben und dann nachgeschaut, was in seinem Inneren passiert. Der Satz war „Ein Sprachmodell sagt immer das nächste“. Die Antwort „Wort“ kam, wie erwartet. Überrascht hat mich etwas anderes: 22 von 24 Layern lang lag „Wort“ praktisch bei null. Erst ganz am Ende sprang es auf 34 Prozent.
Ein Sprachmodell weiß nicht, was es sagen will, bevor es fertig gerechnet hat. Die Antwort entsteht spät und sie ist eine Wahrscheinlichkeit, keine Gewissheit.
Nach diesem Artikel weißt du, was zwischen deinem Prompt und dem nächsten Wort passiert, und zwar an echten Zahlen aus einem echten Modell, nicht an einer Skizze. Die Animation dazu hab ich mit genau diesen Werten gebaut.
- Token
- ein Textbaustein, mit dem ein Sprachmodell rechnet, oft ein Wort oder ein Wortteil.
- Layer
- eine Rechenschicht im Modell. Jedes Token läuft der Reihe nach durch alle Layer.
- Attention
- der Mechanismus, mit dem ein Token auf andere Tokens im Satz zurückschaut und sich Information holt.
- Logit Lens
- ein Forschungstrick, mit dem man nach jedem Layer abliest, welches Wort das Modell an dieser Stelle vorhersagen würde.
Was passiert, bevor das Modell überhaupt rechnet?
Das Modell liest keine Wörter. Mein Satz mit sechs Wörtern wurde zu neun Tokens: „Ein“, „Spr“, „ach“, „mod“, „ell“, „sagt“, „immer“, „das“, „nächste“. Das Wort „Sprachmodell“ zerfällt in vier Stücke, weil der Tokenizer das Kompositum nicht am Stück kennt. Wie diese Zerlegung funktioniert und warum Deutsch dabei mehr Bausteine braucht als Englisch, hab ich im Artikel Was sind eigentlich Tokens? ausführlich erklärt.
Jedes dieser neun Tokens wird in eine lange Zahlenreihe übersetzt. Ab hier rechnet das Modell nur noch mit Zahlen. In der Animation sind das die Glas-Tiles am Boden.
Was machen die 24 Layer mit dem Satz?
Das Modell, das ich verwendet habe, heißt Qwen2.5-0.5B. Es stammt vom chinesischen Anbieter Alibaba, hat rund eine halbe Milliarde Parameter und laut Modellkarte auf Hugging Face 24 Layer. Es ist ein Transformer, dieselbe Bauart, für die das T in GPT steht, nur um ein Vielfaches kleiner als die Modelle hinter ChatGPT.
Jedes Token läuft durch alle 24 Layer, und in jedem Layer wird seine Zahlenreihe ein Stück verändert. In der Animation steigt dafür in jeder Spalte Licht nach oben. Für die Vorhersage des nächsten Wortes zählt am Ende nur eine Spalte: die des letzten Tokens, „nächste“. Die anderen Spalten liefern Information zu, entschieden wird oben in der amber leuchtenden Spalte.
Mit der Logit Lens hab ich nach jedem Layer abgelesen, wie wahrscheinlich „Wort“ an dieser Stelle schon wäre. Das Ergebnis:
| Layer | Wahrscheinlichkeit für „Wort“ |
|---|---|
| 1 bis 22 | höchstens 0,06 % |
| 23 | 1,35 % |
| 24 | 34,15 % |
Das ist der Punkt, an dem es interessant wird. Über fast die gesamte Strecke tauchen als Zwischenstand Tokens auf, die mit dem Satz nichts zu tun haben: Codefragmente, chinesische Zeichen, englische Wortteile. Erst in den letzten beiden Layern kristallisiert sich „Wort“ heraus. Eine Einschränkung muss ich dazusagen: Die Logit Lens ist eine Näherung. Die Autoren der Tuned-Lens-Studie nennen sie nützlich, aber oft „brittle“, also brüchig. Verlässlich ist nur der Wert des letzten Layers, weil das die tatsächliche Ausgabe des Modells ist.
Worauf schaut das Modell, wenn es entscheidet?
Jeder Layer hat 14 sogenannte Attention-Köpfe, in Summe also 336. Jeder Kopf entscheidet für sich, auf welche früheren Tokens er schaut. Diesen Attention Mechanism zeigen die Bögen oben in der Animation.
Ich hab mir den Kopf herausgesucht, der beim letzten Token am stärksten auf „Sprachmodell“ schaut. Das ist Kopf 8 in Layer 24, die Köpfe gezählt ab null. Er legt 57 Prozent seiner Aufmerksamkeit auf die vier Tokens von „Sprachmodell“, allein 45 Prozent auf das Endstück „ell“. Das ergibt Sinn: Wer vorhersagen will, was ein Sprachmodell als Nächstes sagt, muss wissen, dass es um ein Sprachmodell geht.
An dieser Stelle zeichnet die Animation ein zu schönes Bild, deshalb die Einschränkung: Dieser Kopf ist echt, aber er ist nicht typisch. Mittelt man über alle Köpfe, landet in 15 von 24 Layern mehr als die Hälfte der Aufmerksamkeit auf dem allerersten Token „Ein“, das inhaltlich nichts beiträgt. Die Forschung kennt das Phänomen als Attention Sink, beschrieben unter anderem in der Studie Efficient Streaming Language Models with Attention Sinks von Guangxuan Xiao und Kollegen. Das Modell parkt überschüssige Aufmerksamkeit am Satzanfang, ein bisserl wie ein Kellner, der das Tablett abstellt, wenn gerade kein Tisch etwas braucht. Das Bild hinkt leicht, aber es trifft den Kern.
Warum gewinnt „Wort“ nur mit 34 Prozent?
Ganz oben gibt das Modell für jeden der 151.936 Einträge seines Vokabulars eine Wahrscheinlichkeit aus. „Wort“ führt mit 34,2 Prozent. Dahinter kommen „Mal“ mit 6,4 Prozent und ein Komma mit 3,5 Prozent. Der Satz hätte also genauso „Ein Sprachmodell sagt immer das nächste Mal“ lauten können, nur seltener.
Was das konkret bedeutet: Das Modell hat keine Meinung darüber, was richtig ist. Es hat eine Verteilung. Welches Token am Ende gewählt wird, hängt davon ab, wie man aus dieser Verteilung zieht, und genau das steuert die Temperature, die du in vielen Tools einstellen kannst. Daraus erklärt sich auch, warum Modelle manchmal überzeugend falsche Dinge sagen. Wie du mit diesen KI-Halluzinationen umgehst, hab ich in einem eigenen Artikel beschrieben.
Ein Detail fand ich noch bemerkenswert. In einem zweiten Durchlauf mit geringerer Rechengenauigkeit kam für „Wort“ nicht 34, sondern 37 Prozent heraus. Gleiches Modell, gleicher Satz, andere Zahl. Die Werte in diesem Artikel stammen aus dem genaueren Durchlauf.
Wie hab ich die Werte aus dem Modell geholt?
Qwen2.5-0.5B ist ein Open-Weight-Modell unter der Lizenz Apache 2.0. Die Gewichte kann jeder herunterladen, und das Modell ist klein genug, um ohne Grafikkarte nur auf dem Prozessor zu laufen. Ich hab es in Python geladen, den Satz einmal durchgeschickt und mir dabei alle Zwischenergebnisse ausgeben lassen: die Wahrscheinlichkeiten am Ende, die Zwischenstände nach jedem Layer und die Attention aller 336 Köpfe.
Bei ChatGPT, Claude oder Gemini geht das von außen nicht. Dort sieht man nur, was herauskommt. Die Anbieter selbst forschen sehr wohl am Innenleben ihrer Modelle. Anthropic etwa übersetzt interne Zustände von Claude inzwischen direkt in lesbaren Text, was ich im Beitrag Anthropic kann Claude jetzt beim Denken zuschauen beschrieben hab.
Die Animation selbst hab ich mit Claude Code gebaut, als 3D-Szene im Browser, die jede Zahl direkt aus der Messung liest. Als jemand, der seit 1989 in der Kommunikationsbranche arbeitet, war mir das wichtiger als jeder Effekt: Keine Zahl im Bild ist gesetzt, jede kommt aus dem Modell.
Was heißt das für deine Arbeit mit KI?
Drei Dinge nehme ich aus diesem Experiment mit. Die Antwort entsteht spät, also trägt jedes Wort in deinem Prompt bis zum letzten Layer mit. Das Modell schaut gezielt auf die Teile deines Textes, die für die Vorhersage zählen, und vieles andere wird überflogen. Und die Antwort ist immer ein Ziehen aus Wahrscheinlichkeiten, nie ein Nachschlagen.
Für die Praxis heißt das: Gib dem Modell den Kontext, den es für die Entscheidung braucht, und zwar ausdrücklich. Wenn bei dir die Antwort auf „das nächste …“ eh klar ist, ist sie es für das Modell noch lange nicht. Und behandle jede einzelne Antwort als eine Ziehung, nicht als die Wahrheit. Wenn es drauf ankommt, frag zweimal.
Häufige Fragen
Ein Sprachmodell sagt immer das nächste Wort. Jetzt weißt du, wie spät es sich dafür entscheidet. Schau dir die Animation ruhig ein zweites Mal an, und achte auf Layer 23.
