KI im Wissensmanagement: So findet dein Betrieb sein Wissen wieder

Bei KI-gestütztem Wissensmanagement stellst du eine Frage in ganz normaler Sprache. Ein Sprachmodell sucht die Antwort dann in deinen eigenen Unterlagen: in Handbüchern, Angeboten, Protokollen, Preislisten und Prozessbeschreibungen. Es rät also nicht aus seinem allgemeinen Internetwissen. Damit das zuverlässig klappt, braucht es zwei Dinge: eine aufgeräumte Wissensbasis und klare Regeln, wer was sehen darf. Ich zeige dir hier, wie die Technik dahinter funktioniert, welche Vorarbeit sich lohnt, wie du mit einem kleinen Pilotprojekt startest und den Nutzen nachrechnest. Und natürlich, worauf du in Österreich bei DSGVO und EU AI Act achten musst.

// tl;dr

Kurz gesagt

1. 01KI ersetzt Wissensmanagement nicht, sie braucht es. Das Sprachmodell ist nur so gut wie die Dokumente, auf die es zugreift.
2. 02Die Standardtechnik heißt RAG. Die KI holt sich passende Textstellen aus deinem Bestand und formuliert erst dann die Antwort. Ein eigenes Modell trainieren musst du dafür nicht.
3. 03Starte klein. Nimm einen Bereich und eine Handvoll Dokumente, leg messbare Ziele fest und rechne den Nutzen mit einer einfachen Formel nach.
4. 04Datenschutz ist Pflicht, nicht Kür. Personenbezogene Firmendaten gehören in Business- oder API-Zugänge mit Auftragsverarbeitungsvertrag, nicht in Gratis-Accounts.
5. 05Förderung: KMU.DIGITAL kann derzeit nicht beantragt werden und wird ab 2027 nicht fortgeführt.

Was KI-Wissensmanagement eigentlich ist

Klassisches Wissensmanagement kennst du wahrscheinlich: ein Wiki, eine Ordnerstruktur am Server, ein SharePoint, vielleicht ein dickes PDF mit “Wie wir arbeiten”. Das Problem ist selten, dass das Wissen fehlt. Das Problem ist, dass es niemand findet. Oder dass die Kollegin, die es im Kopf hat, gerade auf Urlaub ist.

Generative KI ändert vor allem den Zugang. Statt Stichworte in eine Suchmaske zu tippen und zwanzig Treffer durchzuklicken, fragst du: “Welche Gewährleistungsfrist steht in unseren AGB für Montagearbeiten?” Die KI liefert dir eine formulierte Antwort samt Verweis auf die Stelle im Dokument.

Technisch passiert dabei etwas anderes als bei einer normalen Volltextsuche. Moderne Systeme legen Dokumente nicht als Stichwortlisten ab, sondern als Bedeutungsvektoren, sogenannte Embeddings. Vereinfacht gesagt: Die Maschine merkt sich, worum es in einem Absatz geht, nicht nur, welche Wörter drinstehen. Deshalb findet sie die Gewährleistungsregel auch dann, wenn du “Garantie” schreibst.

Und genau hier liegt der Knackpunkt: Die KI kann nur wiederfinden, was in deinem Bestand steht. Stehen dort drei verschiedene Versionen deiner Preisliste, bekommst du im besten Fall eine verwirrte Antwort und im schlechtesten eine falsche, die sehr überzeugend klingt. KI ist im Wissensmanagement also kein Ersatz für Ordnung. Sie macht Ordnung endlich richtig nutzbar.

Wie RAG funktioniert: drei Schritte statt Modelltraining

Fast jede interne KI-Wissensdatenbank, die heute im Mittelstand läuft, setzt auf Retrieval Augmented Generation, kurz RAG. Die österreichische Regulierungsbehörde RTR beschreibt das Prinzip in der technischen Dokumentation ihres eigenen RAG-Chatbots sehr klar: Ein Sprachmodell wird um externe Wissensquellen erweitert, ohne dass man es aufwändig neu trainieren muss. Das läuft in drei Schritten:

1. Retrieve: Quellen suchen. Deine Frage wird mit dem Dokumentenbestand abgeglichen, und das System holt die passendsten Textstellen heraus.
2. Augment: Anfrage anreichern. Diese Textstellen werden zusammen mit deiner Frage an das Sprachmodell geschickt. Das Modell bekommt also quasi einen Spickzettel mit.
3. Generate: Antwort formulieren. Das Modell schreibt die Antwort auf Basis dieses Spickzettels.

Laut RTR werden die Antworten dadurch präziser und relevanter, und Halluzinationen, also frei erfundene Aussagen, lassen sich eingrenzen. Die Wissensquelle muss übrigens kein Ordner voller PDFs sein: Das Fraunhofer IESE nennt als mögliche Quellen für RAG Dokumentensammlungen, Datenbanken oder einen Wissensgraphen.

Warum ist das für kleine Betriebe so wichtig? Weil ein eigenes Modell zu trainieren teuer und aufwändig ist, und weil das Wissen darin beim nächsten Update deiner Preisliste schon wieder veraltet wäre. Bei RAG tauschst du einfach das Dokument aus. Auch die WKO weist in ihren KI-Guidelines für KMU darauf hin, dass RAG eine kosteneffiziente Alternative zum vollständigen Fine-Tuning sein kann.

Ansatz	Was passiert	Passt für
Chat mit hochgeladenen Dateien	Du gibst dem Assistenten einzelne Dokumente für eine Unterhaltung mit	Schnelle Einzelfragen, erste Gehversuche
RAG-Wissensdatenbank	Ein fester Dokumentenbestand wird laufend durchsucht, mit Quellenangabe	Team-Wissen, Support, Vertrieb, Onboarding
Fine-Tuning	Das Modell selbst wird mit deinen Daten nachtrainiert	Sonderfälle mit speziellem Stil oder Fachsprache

Wofür sich das in EPU und KMU lohnt

Du musst kein Konzern sein, damit sich eine KI-Wissensbasis auszahlt. Ehrlich gesagt profitieren gerade kleine Teams, weil dort oft eine einzige Person “das Gedächtnis” ist. Typische Einsatzfelder, die ich in der Praxis immer wieder sehe:

• Onboarding: Neue Mitarbeitende fragen die Wissensbasis statt den Chef. “Wie lege ich einen Auftrag im Warenwirtschaftssystem an?” wird nicht mehr zum fünften Mal am Tag gestellt.
• Kundenservice: Wiederkehrende Anfragen zu Lieferzeiten, Rücksendungen oder Wartungsintervallen lassen sich aus Handbüchern und FAQs beantworten, mit Verweis auf die Quelle.
• Vertrieb: Vor einem Kundentermin fasst die KI zusammen, was in Angeboten, Notizen und bisherigen Projekten zu diesem Kunden steht.
• Technik und Produktion: Bedienungsanleitungen, Normen und Prüfprotokolle werden durchsuchbar, ohne dass jemand 300 Seiten durchblättert.
• Interne Regeln: Reisekosten, Urlaubsantrag, Datenschutzrichtlinie. Lauter Dinge, die irgendwo stehen, aber keiner findet.
• Erfahrungswissen sichern: Wenn langjährige Mitarbeitende in Pension gehen, lässt sich ihr Wissen in Interviews, Notizen und Checklisten festhalten und über die KI wieder abrufbar machen.

Wie das in größerem Maßstab aussieht, zeigt WienIT in der Wiener Stadtwerke-Gruppe: Dort pflegt nach dem Self-Service-Prinzip jeweils eine Person die Wissensdatenbank ihres Fachbereichs, damit das Wissen aktuell bleibt. Dieses Prinzip funktioniert genauso in einem Zehn-Personen-Betrieb in Salzburg oder Linz.

Bevor die KI loslegt: Daten und Zuständigkeiten klären

Der häufigste Fehler, den ich sehe: Man kippt das gesamte Netzlaufwerk in ein KI-Tool und wundert sich über die Antworten. In der Fachliteratur heißt das ganz unverblümt “Shit in, shit out”. Die Datenbasis entscheidet über den Erfolg, und ohne Bestandsaufnahme, Bereinigung, Strukturierung und klare Zugriffsregeln wird es nichts.

Das klingt nach viel Arbeit, ist es für einen ersten Bereich aber nicht. Diese Checkliste reicht für den Start:

1. Bestand sichten: Welche Dokumente gibt es für den Bereich, den du angehen willst? Wo liegen sie?
2. Doppeltes und Veraltetes raus: Pro Thema eine gültige Version. Die Preisliste von 2022 hat in der Wissensbasis nichts verloren.
3. Widersprüche auflösen: Wenn zwei Prozessbeschreibungen Unterschiedliches sagen, kann die KI das höchstens anzeigen. Entscheiden muss ein Mensch.
4. Sensible Inhalte markieren: Personaldaten, Gehälter, Gesundheitsdaten, Kundendaten. Die gleiche Quelle erinnert daran, dass neben strukturierten und unstrukturierten Daten auch sensible Informationen eigens berücksichtigt werden müssen.
5. Zugriffe festlegen: Wer darf welche Antworten bekommen? Der Lehrling braucht keinen Zugriff auf die Geschäftsführungsprotokolle.
6. Verantwortliche benennen: Pro Wissensbereich eine Person, die Dokumente aktuell hält. Ohne diese Rolle veraltet jede Wissensbasis.

Mindestens so wichtig wie die Daten sind die Menschen. KI-Einführung ist zu einem guten Teil eine organisatorische und kulturelle Aufgabe: Fachbereiche, IT, Datenschutz und alle, die später damit arbeiten, gehören früh an den Tisch. Wer das Team erst beim Go-live informiert, erntet Skepsis statt Nutzung.

Schritt für Schritt einführen und den Nutzen messen

Die WKO empfiehlt in ihren KI-Guidelines (3. Auflage, April 2026) ein Vorgehen, das ich genau so unterschreibe: Ziele klären, mit einem Pilotprojekt in einem begrenzten Bereich starten und erst danach ausrollen. So sieht das konkret aus:

1. Ein Problem auswählen. Nicht “wir wollen KI”, sondern “unser Support beantwortet täglich dieselben 15 Fragen” oder “Angebote zusammenstellen dauert zu lange”.
2. Dokumente für genau diesen Bereich aufbereiten. Siehe Checkliste oben.
3. Werkzeug wählen. Für viele EPU reicht anfangs ein Business-Zugang eines großen Sprachmodells mit Projekt- oder Wissensfunktion. Größere Teams brauchen eine RAG-Lösung mit Rechteverwaltung.
4. KPIs festlegen. Die WKO nennt Zeitersparnis, Fehlerrate, Nutzerakzeptanz und Return on Investment.
5. Testen mit echten Fragen. Sammle 20 bis 30 typische Fragen aus dem Alltag und prüfe, ob die Antworten stimmen und die Quellen passen.
6. Ausrollen und nachschärfen. Die WKO rät, die KI-Strategie mindestens halbjährlich zu überprüfen.

Wer den Weg vom Pilotprojekt bis zum laufenden Betrieb tiefer planen will, findet eine Roadmap für digitale Geschäftsprozesse, die die einzelnen Phasen gut auseinandernimmt.

Die Rechnung dahinter

Für den Nutzen liefert die WKO eine bewusst einfache Formel: Zeitersparnis × Stundensatz − Lizenzkosten − Implementierungsaufwand = ROI. Das Beispiel aus den Guidelines: 5 Stunden Ersparnis pro Woche bei 50 € Stundensatz ergeben 250 € pro Woche, also rund 1.000 € im Monat. Abzüglich 200 € Lizenzkosten bleiben 800 € monatlich.

Mein Tipp: Rechne den Implementierungsaufwand ehrlich mit ein, also die Stunden für Aufräumen und Testen. Dann weißt du, nach wie vielen Monaten sich das Projekt trägt. Genau diese Rechnung machen wir im kostenlosen KI-Check gemeinsam für deinen Betrieb.

Damit die Antworten stimmen

Eine KI-Wissensbasis ist dann wertvoll, wenn man ihr vertrauen kann. Drei Stolperfallen solltest du kennen:

• Lücken im Bestand: Steht die Antwort nicht in deinen Dokumenten, greifen Sprachmodelle gern auf ihr antrainiertes Allgemeinwissen zurück. Das klingt dann plausibel, betrifft aber nicht deinen Betrieb.
• Veraltete Inhalte: Die KI weiß nicht von selbst, dass die Regel von letztem Jahr nicht mehr gilt. Aktualität ist Aufgabe der Verantwortlichen.
• Automation Bias: Menschen neigen dazu, einer Maschine mehr zu glauben als nötig. Gerade bei gut formulierten Antworten.

Was dagegen hilft:

• Antworten an Quellen binden. Stell das System so ein, dass es nur aus deinen Dokumenten antwortet und jede Aussage mit der Fundstelle belegt. Findet es nichts, soll es das sagen.
• Quellen anzeigen lassen. Ein Klick auf das Originaldokument ist die schnellste Kontrolle.
• Klare Systemanweisungen: Etwa Antworte nur auf Basis der bereitgestellten Dokumente. Wenn die Information fehlt, schreibe "Dazu habe ich keine Unterlage".
• Änderungen nachvollziehbar halten: Wer KI-Assistenten auch Inhalte bearbeiten lässt, braucht Versionierung und Rollback. Wie das aussieht, zeigt eine Anleitung zum KI-Assistenten mit Inhalten verbinden, bei der jede Änderung kontrolliert und rückgängig gemacht werden kann.
• Das Team schulen. Wer weiß, wie RAG funktioniert, prüft Antworten automatisch kritischer.

Und wenn doch einmal etwas schiefgeht: Wer haftet eigentlich? Das habe ich in meinem Beitrag zur Verantwortung bei KI-Fehlern aufgedröselt.

Datenschutz und EU AI Act: was in Österreich gilt

Sobald deine Wissensbasis personenbezogene Daten enthält, und das tut sie fast immer (Kundennamen in Angeboten, Mitarbeitende in Protokollen), gilt die DSGVO. Der EU AI Act ersetzt sie nicht, er kommt dazu. Der Leitfaden AI Strategy TREE des DIH Süd bringt die wichtigsten Punkte auf den Tisch:

• Keine Consumer-Accounts für Firmendaten. Für personenbezogene Unternehmensdaten eignen sich nur Business- bzw. Enterprise-Tarife oder die API, mit Auftragsverarbeitungsvertrag (AVV/DPA) und steuerbarer Datenaufbewahrung.
• Training prüfen: Verwendet der Anbieter deine Eingaben zum Training seiner Modelle? Das muss vertraglich ausgeschlossen sein.
• Datenresidenz und Subprozessoren: Wo werden die Daten verarbeitet, und welche Drittanbieter hängen dran?
• DSFA bei hohem Risiko: Bei sensiblen Daten kann eine Datenschutz-Folgenabschätzung nötig sein.

Beim AI Act kann ich dich etwas beruhigen: Wer fertige KI-Tools nutzt, gilt laut Leitfaden meist als “Betreiber” und hat deutlich weniger Pflichten als ein Entwickler. Eine Pflicht gilt aber schon: Seit dem 2. Februar 2025 müssen Unternehmen für ausreichende KI-Kompetenz ihrer Mitarbeitenden sorgen (Artikel 4). Dazu kommen Transparenzpflichten, etwa wenn ein Chatbot nach außen mit Kundinnen und Kunden spricht.

Wie du ein Sprachmodell konkret datenschutzkonform aufsetzt, steht in meinem Artikel zu KI und DSGVO. Was der AI Act für kleine Betriebe sonst noch bedeutet, findest du unter EU AI Act für KMU und EPU.

Kosten, Förderung und Unterstützung

Viele fragen mich zuerst nach Förderungen. Hier die ehrliche Antwort: KMU.DIGITAL kann derzeit nicht beantragt werden, weil das Budget von KMU.DIGITAL 4.0 vollständig ausgeschöpft ist. Ab 2027 wird das Programm nicht fortgeführt. Wer also auf diesen Zuschuss gewartet hat, sollte das Projekt nicht weiter aufschieben, sondern lieber klein und mit überschaubarem Budget beginnen.

Die gute Nachricht: Ein Pilot für KI-Wissensmanagement muss kein Großprojekt sein. Oft reichen ein bereinigter Dokumentenbestand, ein sauber konfiguriertes Tool und ein Team, das weiß, wie es damit umgeht.

So kann ich dich dabei unterstützen:

• Erstgespräch und KI-Check: kostenlos. Wir schauen, wo in deinem Betrieb Wissen verloren geht und ob sich eine KI-Lösung rechnet.
• KI-Strategie & Prozesse: 150 € pro Stunde. Von der Bestandsaufnahme über Tool-Auswahl und Datenschutz bis zum Pilotprojekt. Details auf der Seite zur KI-Strategie für EPU und KMU.
• Fokus LLMs: 120 € pro Stunde. Ein praktischer Workshop zu ChatGPT, Claude und Gemini, in dem dein Team lernt, mit Sprachmodellen und eigenen Dokumenten zu arbeiten.
• AI Literacy Kurs: kostenlos. Der Kurs zur KI-Kompetenz nach Artikel 4 für deine Mitarbeitenden.

Wie eine Beratung bei mir abläuft, habe ich in Ablauf und Kosten der KI-Beratung transparent beschrieben.

Meine Sicht auf KI im Wissensmanagement

Ich erlebe in Workshops immer wieder dasselbe Bild: Das Wissen ist längst da. Es steckt in E-Mails, in alten Angeboten, in den Köpfen von zwei, drei Leuten. Was fehlt, ist ein Weg, es schnell und verlässlich abzurufen. Genau das kann generative KI heute richtig gut.

Ich halte aber nichts davon, KI als Zauberknopf zu verkaufen. Ein Tool zu kaufen ist der einfachste Teil. Der Erfolg entscheidet sich davor: Welche Dokumente kommen rein, wer pflegt sie, wer darf was sehen, und wo liegen die Daten? Wer diese Fragen sauber beantwortet, bekommt eine Wissensbasis, der das Team vertraut. Wer sie überspringt, bekommt einen Chatbot, den nach drei Wochen keiner mehr verwendet.

Deshalb starten ich mit konkreten Ergebnissen statt mit Marketingversprechen: ein Bereich, echte Fragen, messbare Zeitersparnis, Datenschutz von Anfang an mitgedacht. Gerade für EPU und kleine Teams ist das der Hebel, mit dem sich KI vom Spielzeug zum Werkzeug macht.

Alex Januschewsky

Häufige Fragen

Brauche ich für KI-Wissensmanagement ein eigenes KI-Modell?

Nein. Mit RAG nutzt du ein bestehendes Sprachmodell und gibst ihm bei jeder Frage die passenden Stellen aus deinen Dokumenten mit. Ein eigenes Training ist dafür nicht nötig, und Aktualisierungen erledigst du einfach, indem du Dokumente austauschst.

Darf ich Kundendaten in ein KI-Tool hochladen?

Nur mit dem richtigen Rahmen: Business- oder Enterprise-Zugang bzw. API, Auftragsverarbeitungsvertrag, kein Training mit deinen Eingaben und geklärter Speicherort. Gratis-Consumer-Accounts sind für personenbezogene Firmendaten ungeeignet. Im Zweifel klärst du das mit deiner Datenschutzbeauftragten oder einer Datenschutzanwältin, bevor die Daten hochgeladen werden.

Wie verhindere ich falsche Antworten?

Halte den Dokumentenbestand aktuell und widerspruchsfrei und lass das System nur aus deinen Quellen antworten, immer mit Fundstelle. Schulen solltest du dein Team auch: Wer weiß, wie die Antworten entstehen, prüft sie bewusster.

Lohnt sich das auch für ein Einpersonenunternehmen?

Ja, gerade dann, wenn du viele Unterlagen, Kundenprojekte oder Angebote jonglierst. Schon ein Business-Zugang mit Projektfunktion und ein aufgeräumter Ordner sparen Suchzeit. Mit der WKO-Formel rechnest du in zehn Minuten aus, ob es sich trägt.

Quellen

RTR: RAG-Chatbot, technische Dokumentation
WKO: KI-Guidelines für KMU, 3. Auflage
Fraunhofer IAO: Wissensgraph statt Dokumentensuche
Fraunhofer IESE: Retrieval Augmented Generation
Springer Professional: Datenbasis und Datenqualität für KI im Wissensmanagement
Börse Express: WienIT und KI im Wissensmanagement
DIH Süd: Leitfaden AI Strategy TREE
IHK München: AI Act, Regeln für Unternehmen
KMU.DIGITAL: offizielle Programmseite

Empfehlungen

• KI-Tools sind tot – es lebe der KI-Zauberstab
• KI-Nutzung im Unternehmen: Warum gerade kleine Betriebe jetzt groß denken sollten
• Wie KI das Suchmaschinenmanagement beeinflusst
• Wie KI den Geschäftsalltag verändert