Beeindruckend ist kein Qualitätsmerkmal. Warum der glatte Output von Sprachmodellen uns in eine gefährliche Passivität führt, und was wir dagegen tun können.
Es war ein Kommentar unter einem Blogartikel. Nicht von jemandem aus der Tech-Szene, nicht von einem Security-Experten, sondern von jemandem, der KI täglich im eigenen Betrieb einsetzt und dabei etwas bemerkt hat. Etwas, das ihm erst klar wurde, als es schon passiert war. Er hat einen Begriff verwendet, den ich kannte, aber in diesem Kontext anders wahrgenommen habe: Automation Bias.
Ich hatte kurz davor über Vibe Coding und AI Security geschrieben, über ein Stelleninserat, das mehr Fragen aufgeworfen hat als es beantwortet hat. Der Kommentar dazu war kurz. Aber er hat etwas angestoßen, das mich länger beschäftigt hat als manches 2.000-Wort-Essay, das ich in letzter Zeit gelesen habe. Ich bin danach eine Stunde durch meine eigenen Workflows rückwärts gegangen. Wie oft habe ich einen KI-Output gelesen, genickt und weitergeklickt? Wie oft habe ich „überprüft“ und dabei eigentlich nur bestätigt, was ich sehen wollte?
Warum gut klingender Output gefährlich ist
Stell dir vor, du fragst einen Kollegen nach einer Einschätzung. Er antwortet zögernd, sucht nach Worten, sagt „ich glaub schon, aber ich bin da nicht sicher.“ Du horchst auf. Du fragst nach. Du denkst selbst mit.
Jetzt stell dir vor, derselbe Kollege antwortet mit perfekter Struktur, klaren Bullet Points, einem ausgewogenen Überblick und einem souveränen Schluss. Du lehnst dich zurück. Erledigt.
Genau das passiert bei LLMs, jeden Tag, millionenfach. Das Problem hat einen Namen: Fluency Heuristic. Menschen bewerten Informationen als glaubwürdiger und kompetenter, wenn sie flüssig und strukturiert formuliert sind. Das ist kein neues Phänomen, aber Sprachmodelle haben es auf ein neues Level gehoben. Sie produzieren niemals einen unsicheren Satz, niemals ein „hmm, da bin ich mir nicht ganz sicher.“ Sie liefern immer eine Antwort, die klingt wie die richtige.
Und das ist das Problem.
Was die Forschung seit Jahren weiß, und jetzt bestätigt
Automation Bias ist das älteste Konzept dazu, ursprünglich aus der Luftfahrtpsychologie. Raja Parasuraman und Victor Riley beschrieben es 1997: Menschen vertrauen automatisierten Systemen übermäßig, auch wenn diese Systeme Fehler machen. Sie übernehmen Empfehlungen, ohne sie zu hinterfragen. Der Autopilot sagt links, also gehen wir links.
Das überträgt sich 1:1 auf Sprachmodelle. Eine Studie aus dem Jahr 2023, veröffentlicht vom MIT-Forscher Shakked Noy und Whitney Zhang, zeigte, dass Beschäftigte, die ChatGPT für Schreibaufgaben nutzten, produktiver wurden, aber gleichzeitig weniger eigene Kognition investierten. Das ist nicht überraschend. Das ist besorgniserregend.
Noch direkter: Matt Liang und Kolleginnen untersuchten 2024, wie Gutachter auf wissenschaftliche Reviews reagieren, die von LLMs verfasst wurden. Ergebnis: KI-generierte Reviews wurden in manchen Kategorien sogar besser bewertet als menschliche, obwohl sie inhaltliche Fehler enthielten. Der Grund? Sie klangen professioneller.
Dann gibt es das Konzept des Cognitive Offloading, das die Kognitionswissenschaft seit Jahren beschreibt: Wir lagern Denkarbeit an externe Systeme aus, um kognitive Kapazität zu schonen. Das war schon beim Smartphone so, beim Navi, beim Taschenrechner. Mit LLMs hat dieses Outsourcing aber eine neue Qualität erreicht: Wir lagern nicht mehr das Erinnern aus, sondern das Urteilen. Und das ist ein anderes Kaliber.
Was ich in meiner Praxis sehe
Ich beobachte das regelmäßig in meiner Beratungsarbeit mit EPU und KMU in Österreich und der DACH-Region: Da kommt jemand mit einem Angebot, einem Marketingtext oder einer Strategie, die „die KI geschrieben hat.“ Die Substanz fehlt. Der Text klingt gut, sagt aber wenig. Wenn ich frage, was denn das eigentliche Argument dahinter sei, kommt oft Schweigen.
Das ist kein Einzelfall.
Letzte Woche arbeitete ich mit einem Unternehmer, der mir ein Konzept für seine Website-Texte zeigte. KI-Output, strukturiert, flüssig, professionell. Und komplett austauschbar. Es hätte für jeden seiner Mitbewerber stehen können, Branche ausgetauscht, fertig. Er hatte den Output gelesen, war zufrieden, und nie die Frage gestellt: „Stimmt das wirklich für mich?“
Genau da liegt der Riss.
Der Kompetenzschere-Effekt: Wer wirklich profitiert
Ethan Mollick, Wirtschaftsprofessor an der Wharton School und einer der nüchternsten Beobachter der KI-Entwicklung, schreibt regelmäßig darüber, wie unterschiedlich Menschen KI nutzen. Seine Kernbeobachtung deckt sich mit meiner: KI ist kein großer Gleichmacher. KI ist ein Multiplikator.
Wer ohnehin strukturiert denkt, kritisch hinterfragt und weiß, was er will, bekommt durch KI-Tools einen enormen Hebel. Er nutzt das Sprachmodell als Sparringspartner, als Entwurfswerkzeug, als Beschleuniger für Arbeit, die er selbst durchdenkt.
Wer das nicht tut, bekommt polierten Output und hält ihn für Tiefe.
Das führt mittelfristig zu einer Spaltung, die wir gerade erst erahnen: KI-Literaten auf der einen Seite, KI-Konsumenten auf der anderen. Die erste Gruppe wird produktiver, schärfer, schneller. Die zweite wähnt sich auf Augenhöhe.
Ich schreibe das nicht, um euch zu beeindrucken. Ich sage das, weil ich diese Schere schon jetzt sehe.
Was guter KI-Einsatz wirklich bedeutet
Ich nutze KI-Tools täglich. Claude, Gemini, n8n-Workflows, eigene Agenten. Ich habe mehr als 500 Artikel auf digitalhandwerk.rocks, viele davon mit KI-Unterstützung entstanden. Und ich behaupte trotzdem, oder genau deshalb: Der Output ist niemals der Endpunkt. Er ist der Ausgangspunkt.
Ein Sprachmodell ist ein außergewöhnlich guter erster Entwurf, eine Denkstruktur, ein Spiegel für eigene Ideen. Aber es hat keine Meinung. Es hat keine Erfahrung. Es hat keine Haftung. Es weiß nicht, dass dein Kunde in Salzburg ist und vollkommen andere Erwartungen hat als einer in München. Es weiß nicht, was du schon versucht hast und warum es nicht geklappt hat.
Das weißt du.
Und das ist der Teil, der zählt.
„KI gibt dir die Antwort, die du verlangt hast. Nicht die, die du gebraucht hättest. Den Unterschied musst du selbst kennen.“
Alex Januschewsky
Das klingt simpel. Aber es setzt voraus, dass du weißt, was du eigentlich brauchst. Das setzt kritisches Nachfragen voraus, das Ringen um den richtigen Prompt, die Bereitschaft, einen Output als Entwurf zu behandeln statt als Lösung.
Das ist unbequemer als einmal reinklopfen und zufrieden sein. Aber es ist der Unterschied zwischen Ergebnis und Illusion.
Wann wird das zum gesellschaftlichen Problem?
Ich würde das alles gelassener sehen, wenn es nur um schlecht optimierte Website-Texte ginge. Aber das Phänomen reicht weiter.
Menschen informieren sich über Gesundheitsthemen per LLM, ohne die Ausgabe zu hinterfragen. Journalisten nutzen KI-Recherche, ohne die Quellen zu prüfen. Schüler schreiben Hausarbeiten mit Sprachmodell-Output, ohne zu verstehen was dahintersteckt. Führungskräfte treffen Entscheidungen auf Basis von KI-Zusammenfassungen, ohne den Originalkontext zu lesen.
In all diesen Fällen ist das Problem nicht die Technologie. Das Problem ist das Fehlen einer einfachen Reflexion: Könnte das falsch sein? Was fehlt hier? Welche Perspektive hat dieses System nicht?
Kognitive Demut, wie Psychologen es nennen, also das Bewusstsein der eigenen und der maschinellen Grenzen, ist kein akademisches Konzept. Es ist die praktischste Fähigkeit, die du gerade entwickeln kannst.
Was du konkret tun kannst
Kein Zehn-Punkte-Plan. Drei Fragen, die du dir ab heute stellen solltest, jedes Mal wenn du einen LLM-Output vor dir hast:
Erstens: Wo könnte das falsch liegen? Nicht ob, sondern wo. Jedes Sprachmodell halluziniert, vereinfacht, hat Trainingsdaten mit einem Ablaufdatum. Finde den schwächsten Punkt in der Antwort.
Zweitens: Was fehlt hier, das das Modell nicht wissen kann? Kontext, Lokalwissen, deine spezifische Situation, die letzten drei Meetings, das Gespräch von gestern. KI kennt generische Wahrheiten, keine individuellen Realitäten.
Drittens: Warum bin ich zufrieden mit dieser Antwort? Das ist die unbequemste Frage. Weil sie ehrlich beantwortet werden muss. Bist du zufrieden, weil die Antwort gut ist? Oder weil sie gut klingt, und das ist schnell genug für heute?
Der Unterschied zwischen diesen beiden Antworten ist der Unterschied zwischen KI als Werkzeug und KI als Ausrede.
Häufige Fragen zu KI-Output und kritischem Denken
Quellenangaben
1. Parasuraman & Riley (1997) Parasuraman, R. & Riley, V. (1997): „Humans and Automation: Use, Misuse, Disuse, Abuse.“ Human Factors, Vol. 39, No. 2, S. 230–253. Frei zugängliche Zusammenfassung + PDF via Semantic Scholar: semanticscholar.org SAGE Publications
2. Noy & Zhang (2023) Noy, S. & Zhang, W. (2023): „Experimental evidence on the productivity effects of generative artificial intelligence.“ Science, Vol. 381, S. 187–192. Freier Preprint (MIT): economics.mit.edu Science
3. Liang et al. (2024) Kleiner Hinweis: Die Studie erschien erst 2024 in NEJM AI, nicht 2023, wie ich ursprünglich angegeben hatte. Im Artikel sollte das korrigiert werden. Liang, W. et al. (2024): „Can Large Language Models Provide Useful Feedback on Research Papers? A Large-Scale Empirical Analysis.“ NEJM AI, Vol. 1, No. 8. Scholars@Duke
4. Risko & Gilbert (2016) Risko, E.F. & Gilbert, S.J. (2016): „Cognitive Offloading.“ Trends in Cognitive Sciences, Vol. 20, No. 9, S. 676–688. Taylor & Francis Online
5. Ethan Mollick – „One Useful Thing“ Mollick, E.: „One Useful Thing“ – Newsletter zu KI, Arbeit und Bildung von Prof. Ethan Mollick, Wharton School. Direkt-URL: oneusefulthing.org
6. Gerd Gigerenzer (2022) Gigerenzer, G. (2022): „How to Stay Smart in a Smart World: Why Human Intelligence Still Beats Algorithms.“ MIT Press. ISBN: 978-0-262-04695-4. Amazon
