Es gibt Fehler, die man sieht. Und es gibt Fehler, die man nicht sieht, weil alles gut aussieht. Letztere sind die interessanteren. Und die teureren.
Ich hatte vor Kurzem über Vibe Coding und AI Security geschrieben, genauer gesagt über ein Stelleninserat, das mehr Fragen aufgeworfen hat als es beantwortet hat. Der Artikel hat ein paar Reaktionen ausgelöst, wie das manchmal passiert. Die meisten waren Zustimmung, ein paar waren Diskussionen, und eine war ein Kommentar, der sich festgesetzt hat. Jemand hat in den LinkedIn-Kommentaren den Begriff Automation Bias in den Raum gestellt. Als Schilderung einer Situation, in der man gemerkt hat, dass man aufgehört hat zu prüfen. Nicht aus Faulheit. Nicht aus Nachlässigkeit. Sondern weil die Antworten der KI immer so verdammt plausibel geklungen haben.
Ich kannte den Begriff. Ich habe ihn auch schon verwendet. Aber in diesem Kontext, angehängt an eine konkrete Erfahrung mit echten Konsequenzen, hat er mich anders erwischt. Ich habe dann erst mal eine Stunde nicht weitergearbeitet, sondern bin in meinen eigenen Workflows rückwärts gegangen. Wie oft habe ich einen KI-Output gelesen, genickt und weitergeklickt? Wie oft habe ich „überprüft“ und dabei eigentlich nur bestätigt, was ich sehen wollte? Ich übertreibe leicht.
Das hat mich zu diesem Artikel gebracht. Ich schreibe ihn nicht, weil ich eine Warnung ausgeben will. Ich schreibe ihn, weil ich das Thema für fundamental halte und weil ich finde, dass es in der KI-Diskussion regelmäßig untergeht. Wir reden über Halluzinationen, über Datenschutz, über Copyright. Über Automation Bias reden wir kaum. Dabei ist es, meiner Beobachtung nach, das Risiko, das in der täglichen Arbeit am weitesten verbreitet ist.
Was Automation Bias wirklich bedeutet
Kurz gesagt: Automation Bias beschreibt die Tendenz, den Ausgaben automatisierter Systeme mehr zu vertrauen als dem eigenen Urteil, auch dann, wenn das eigene Urteil eigentlich besser wäre.
Das ist kein neues Phänomen. Piloten kennen es aus der Cockpit-Forschung der 1980er und 1990er Jahre, als erste Autopilot-Systeme eingeführt wurden und Unfallanalysen zeigten, dass Crews Warnsignale ignorierten, weil die Automatisierung gegenteilige Daten anzeigte. Radiologen kennen es aus der computergestützten Bilddiagnose: Wenn das System eine Auffälligkeit markiert, wird sie intensiver untersucht. Wenn es keine markiert, wird weniger genau hingeschaut, selbst von erfahrenen Fachkräften. Und wir kennen es jetzt, zunehmend, aus dem Umgang mit großen Sprachmodellen.
Das Besondere an Sprachmodellen ist, dass sie den Effekt potenzieren. Ein klassisches Automatisierungssystem gibt Signale aus, Zahlen, Warnleuchten, Wahrscheinlichkeiten. Ein Sprachmodell gibt dir Text. Gut geschriebenen, strukturierten, argumentativ kohärenten Text. Das ist exakt das, was unser Gehirn als Signal für Kompetenz und Verlässlichkeit liest. Ein System, das flüssig und schlüssig formuliert, wird unbewusst als sachkundig eingestuft. Das ist das Kernproblem.
Lass mich das konkret machen, anhand von drei Situationen, die ich für realistisch halte. Keine Katastrophenszenarien. Keine Science-Fiction. Alltag.
Drei Situationen, die jeder kennt. Oder kennen sollte.
Beispiel 1: Der E-Mail-Entwurf, der zu professionell klingt.
Du hast eine heikle Situation mit einem Kunden. Eine Lieferverzögerung, eine Preisanpassung, ein Missverständnis, das aus dem Ruder gelaufen ist. Du schreibst einen ersten Entwurf, der die wichtigsten Punkte enthält, aber vielleicht noch etwas roh ist. Du gibst ihn der KI und bittest sie, das „professioneller und klarer“ zu formulieren.
Der Entwurf kommt zurück: flüssig, höflich, strukturiert. Du liest drüber. Er klingt besser als dein Original. Du klickst auf Senden.
Was du nicht gemerkt hast: Die KI hat einen Halbsatz herausgekürzt, in dem du einen wichtigen Vorbehalt formuliert hattest. Einen Vorbehalt, der für dich rechtlich relevant war. Er hat „den Lesefluss gestört“, also wurde er optimiert. Das Modell hat nicht verstanden, dass dieser unelegante Satz der wichtigste im ganzen Entwurf war. Und du hast nicht geprüft, ob noch alles drin ist. Du hast bestätigt, nicht gelesen.
Beispiel 2: Der Sicherheitscheck, der grünes Licht gibt.
Du betreibst eine kleine E-Commerce-Seite oder ein Buchungssystem. Du hast eine neue Funktion entwickelt, vielleicht mit KI-Unterstützung, vielleicht nicht. Vor dem Go-live lässt du den Code von einem KI-Tool auf Sicherheitslücken prüfen. Der Report kommt zurück: drei kleinere Hinweise zu Best Practices, aber keine kritischen Befunde. Du bist erleichtert. Das System geht online.
Was der Report nicht gesehen hat: eine Schwachstelle in der Geschäftslogik. Keine klassische Code-Lücke, kein bekanntes Angriffsmuster, sondern ein Fehler in der Art, wie zwei Systemteile miteinander interagieren, in einem Kontext, den das Tool nicht kannte, weil du ihm nur den Code gegeben hast, nicht die Systemarchitektur darum herum. Technisch unauffällig. Praktisch ausnutzbar. Das Tool hat nicht gelogen. Es hat nur nicht alles gesehen. Und du hast nicht gefragt, was es nicht sehen konnte.
Beispiel 3: Die Zusammenfassung, die stimmt. Größtenteils.
Vierzig Seiten Angebot, Deadline in zwei Stunden, Meeting in drei. Du gibst das Dokument in die KI und lässt es zusammenfassen. Die Zusammenfassung ist kompakt, übersichtlich und überzeugend strukturiert. Du gehst ins Meeting mit dem Extrakt, bereit für die Diskussion.
Erst dort, in der Runde, kommt jemand auf zwei Klauseln zu sprechen, die einander eigentlich widersprechen. Ein Widerspruch, der im Original sichtbar war, weil er sich über mehrere Seiten erstreckte und damit eine gewisse Spannung erzeugte. Die KI-Zusammenfassung hat beides geglättet, weil Kohärenz ein Optimierungsziel von Sprachmodellen ist. Widersprüche werden tendenziell aufgelöst oder vereinheitlicht, nicht hervorgehoben. Du wärst draufgekommen, wenn du das Original gelesen hättest. Die Zusammenfassung hat dir das nicht gegeben.
Alle drei Situationen haben dasselbe Muster: ein Output, der gut genug aussieht, um das kritische Nachdenken abzuschalten. Nicht weil du nachlässig bist. Sondern weil dein Gehirn gelernt hat, dass dieser Output meistens passt.
Warum das im Security-Kontext besonders gefährlich ist
Hier ist, was ich beobachte: In den meisten Bereichen, in denen wir KI einsetzen, ist ein Fehler ärgerlich, aber korrigierbar. Ein Text muss überarbeitet werden. Eine Recherche war unvollständig. Eine Idee hat sich nicht bewährt. Das kostet Zeit, manchmal Nerven, selten wirklich viel.
Im Security-Kontext ist das anders. Und zwar aus zwei Gründen, die zusammenwirken und den Schaden dramatisch verstärken.
Der erste Grund ist die Latenz zwischen Ursache und Konsequenz. Der Moment, in dem du dem KI-Output vertraust und auf eine Prüfung verzichtest, und der Moment, in dem sich der Fehler zeigt, liegen oft Wochen oder Monate auseinander. Eine Sicherheitslücke wird nicht sofort ausgenutzt. Ein fehlerhafter Vertragspunkt zeigt seine Konsequenzen erst beim nächsten Streitfall. Ein Datenleck wird manchmal erst bei einer Prüfung oder durch externe Meldung sichtbar. Das macht es praktisch unmöglich, den Zusammenhang herzustellen. Du siehst die Folge, aber nicht mehr die Entscheidung, die sie ausgelöst hat.
Der zweite Grund sind die asymmetrischen Fehlerkosten. Wenn ein KI-generierter Text zu kurz ist, fügst du zwei Sätze hinzu. Wenn eine KI-unterstützte Sicherheitsanalyse eine Lücke übersieht und du das nicht merkst, sind die Konsequenzen eine andere Größenordnung: Datenverlust, Haftungsfragen, Reputationsschaden, Compliance-Probleme, im schlimmsten Fall existenzielle Risiken für ein kleines Unternehmen. Der Aufwand, etwas zu überprüfen, und der Schaden, den eine unterlassene Prüfung verursachen kann, stehen in keinem vernünftigen Verhältnis.
Automation Bias trifft genau dort am härtesten, wo die Fehlerkosten am höchsten und die Fehler am spätesten sichtbar sind. Das ist kein Zufall. Es ist eine direkte Konsequenz aus der Art, wie wir Vertrauen in Systeme aufbauen: durch Wiederholung. Hundert gute Outputs trainieren uns darauf, beim hunderteinsten nicht mehr hinzuschauen. Im Security-Kontext ist das hunderteinste Mal möglicherweise der Fall, der zählt.
Drei Mechanismen, die erklären, warum das so passiert
Wenn man versteht, warum Automation Bias entsteht, kann man bewusster damit umgehen. Deshalb kurz in die Psychologie dahinter, ohne akademischen Ballast.
Plausibilitätsheuristik
Unser Gehirn bewertet Outputs primär danach, ob sie plausibel klingen. Das ist eine Abkürzung, die evolutionär sinnvoll war: Wenn etwas kohärent und strukturiert klingt, kommt es meistens von jemandem, der weiß, wovon er spricht. Das Problem ist, dass Sprachmodelle trainiert wurden, genau dieses Signal zu erzeugen. Kohärenz, Struktur, flüssige Formulierung sind keine Nebenprodukte von Kompetenz bei Sprachmodellen, sie sind das primäre Ziel des Trainings. „Klingt richtig“ und „ist richtig“ sind zwei verschiedene Dinge. Unser Gehirn unterscheidet das nicht automatisch.
Cognitive Offloading
Je mehr wir auslagern, desto weniger prüfen wir. Das ist keine Schwäche, das ist Effizienz. Kognitive Ressourcen sind begrenzt, und das Gehirn spart sie konsequent, sobald es eine verlässliche externe Quelle identifiziert hat. Das Problem: Es behandelt die KI wie eine verlässliche Quelle, auch wenn sie das in einem bestimmten Kontext gar nicht ist. Wenn du fünfzig Mal einen brauchbaren E-Mail-Entwurf bekommen hast, prüfst du beim einundfünfzigsten nicht mehr mit derselben Sorgfalt. Das ist keine Entscheidung, die du triffst. Es passiert unterhalb der bewussten Wahrnehmung. Und im falschen Moment hat es Konsequenzen.
Missing-Context-Blindspot
KI-Systeme kennen nur, was du ihnen gibst. Sie kennen nicht dein Unternehmen, nicht deine Kundenhistorie, nicht die ungeschriebenen Regeln in deiner Branche, nicht den Unterton in der E-Mail von letzter Woche, nicht die regulatorischen Besonderheiten deines spezifischen Marktsegments. Das bedeutet: Die Antwort kann auf der Basis der gegebenen Information vollständig korrekt sein und trotzdem falsch für deinen konkreten Fall sein. Automation Bias macht uns blind für diesen Blindspot, weil wir den fehlenden Kontext nicht sehen. Was wir nicht eingegeben haben, merken wir auch nicht, dass es fehlt. Es ist die Lücke, die keine Fehlermeldung erzeugt.
Was ich daraus mitnehme
Ich denke nicht, dass die Lösung weniger KI ist. Das wäre die falsche Antwort und ich würde sie auch nicht leben, denn KI ist fest in meiner täglichen Arbeit verankert. Ich schreibe damit, ich recherchiere damit, ich entwickle damit, ich automatisiere damit.
Aber ich versuche seitdem, eine Frage konsequenter zu stellen, bevor ich einen KI-Output weiterverwende oder auf dessen Basis eine Entscheidung treffe: Was hätte dieses System nicht gesehen? Nicht „ist das richtig?“, sondern „was fehlt hier möglicherweise?“ Das ist ein kleiner Unterschied in der Fragestellung. In der Praxis ist es ein großer Unterschied im Ergebnis.
Je höher die Fehlerkosten, desto bewusster muss ich den KI-Output behandeln. Nicht als Ergebnis, sondern als Entwurf. Nicht als Antwort, sondern als Vorschlag. Der KI-Output ist der Start einer Prüfung, nicht ihr Ende.
Der Kommentar, der mich zu diesem Artikel gebracht hat, hat genau das in mir ausgelöst: das Innehalten. Das „Moment mal.“ Ich bin dankbar dafür, auch wenn es unbequem war. Vielleicht sogar: besonders weil es unbequem war. Das ist meine ehrliche Einschätzung. Sie kann sich ändern.
