Lokale KI mit Ollama: DSGVO-konform, kostenlos und Big-Tech-unabhängig

Stell dir vor, du sitzt mit einem Kunden zusammen, ihr besprecht ein neues Projekt, und du tippst die wichtigsten Punkte schnell in ChatGPT, damit das Tool dir einen strukturierten Angebotstext formuliert. Name des Kunden, Branche, Budget, besondere Anforderungen. Alles rein, Return drücken, Ergebnis rauskopieren.

Hast du dir dabei schon mal überlegt, wo diese Daten gerade gelandet sind?

Ich mache mir nicht gerne Sorgen um Dinge, die ich nicht beeinflussen kann. Aber das hier kann ich beeinflussen. Und du auch. Denn wenn du personenbezogene oder vertrauliche Geschäftsdaten in einen Cloud-KI-Dienst eingibst, wandern diese Daten auf Server, die meist in den USA stehen, unter US-Recht operieren, und von Unternehmen betrieben werden, die Daten zu Trainingszwecken verwenden können, wenn du das nicht explizit abgestellt hast. Ob das in deinem konkreten Fall ein DSGVO-Problem ist, hängt von vielen Faktoren ab. Aber die Frage ist berechtigt. Und die Antwort lautet: es gibt eine bessere Alternative.

Lokale KI. Auf deinem eigenen Gerät. Ohne Cloud, ohne Abo, ohne Datenschutzgrauzone.

Das klingt komplizierter als es ist. Ich zeige dir, wie es geht.

Was sind lokale KI-Modelle?

Bei Cloud-KI-Diensten wie ChatGPT, Gemini oder Claude läuft die eigentliche Rechenarbeit auf Servern des jeweiligen Anbieters. Du schickst deinen Text dorthin, das Modell verarbeitet ihn, du bekommst eine Antwort zurück. Schnell, bequem, aber mit dem kleinen Haken, dass dein Text dabei das Haus verlässt.

Lokale KI-Modelle funktionieren anders. Das Sprachmodell wird einmalig auf deinen Computer heruntergeladen und läuft dort vollständig lokal. Dein Text verlässt deinen Rechner nicht. Es gibt keine API-Verbindung zu einem US-Server, keine Datenübertragung, keine Nutzungsbedingungen, die dir das Kleingedruckte um die Ohren hauen. Was du eingibst, bleibt bei dir.

Das ist für EPU und KMU aus mehreren Gründen interessant:

• DSGVO-Compliance: Keine Drittübermittlung personenbezogener Daten, keine Auftragsverarbeitungsverträge mit Cloud-Anbietern nötig (für den lokalen KI-Einsatz).
• Keine Kosten: Die meisten lokalen Modelle sind Open Source. Du zahlst nichts.
• Unabhängigkeit: Kein Abo, das sich im Preis verdoppelt. Kein Dienst, der plötzlich offline ist.
• Offline-Nutzung: Du kannst im Zug, im Urlaub, ohne Netz arbeiten.

Der Trade-off ist ehrlich gesagt auch klar: Lokale Modelle sind (noch) nicht so leistungsstark wie die großen Cloud-Systeme. Für viele Alltagsaufgaben reicht das aber mehr als aus.

Ollama: Die einfachste Lösung für den Einstieg

Es gibt mehrere Wege, lokale KI auf deinen Computer zu bringen. Ollama ist aus meiner Sicht der unkomplizierteste davon. Keine komplexe Konfiguration, keine Entwicklererfahrung nötig, läuft auf Mac und Windows.

Ollama ist im Grunde ein Programm, das dir ermöglicht, Open-Source-Sprachmodelle mit einem einzigen Befehl herunterzuladen und zu starten. Du tippst einen Befehl ins Terminal, das Modell lädt, und du kannst sofort loslegen. So simpel ist das.

Verfügbare Modelle (Auswahl):

• Llama: Aktuell eines der besten frei verfügbaren Modelle. Starke Reasoning-Qualität, gut für Texte und Analysen.
• Mistral: Schnell, schlank, für einfachere Aufgaben sehr gut geeignet. Läuft flüssig auch auf älteren Geräten.
• Phi: Überraschend leistungsstark für seine Größe. Besonders gut für strukturierte Aufgaben.
• Gemma: Ebenfalls kostenlos, gut dokumentiert, angenehm im Alltagsbetrieb. Vor allem das neue Gemma 4 ist extrem alltagstauglich!

Systemanforderungen:

Das ist der Punkt, der die meisten überrascht: Du brauchst kein High-End-Gerät. Ein moderner Laptop mit 8 GB RAM reicht für den Einstieg. Bei meinem Setup (Mac mini mit 16 GB RAM) verwende ich Llama 3.2.1b für Mailanalysen und Llama 3.2.3b für Auswertungen und Zusammenfassungen von Texten. Eine dedizierte Grafikkarte (GPU) kann die Geschwindigkeit massiv erhöhen, ist aber kein Muss. Gemma 4 E2B geht auch gut, braucht aber für die Antworten länger. Dafür sind sie besser.

Kosten: Null. Ollama selbst ist kostenlos und Open Source. Die Modelle auch.

Wirklich praktisch ist, dass du die Modelle einfach – weil kostenlos – testen kannst. Wenn es zu langsam oder für deine Zwecke nicht geeignet ist, dann versuche ein anderes. Es gibt schon richtig große Modelle, die deine Hardware gehörig ins Schwitzen bringen. Probier dich durch, wenn dir die Geschwindigkeit der Antwort und die Antwort des KKM passt, dann hast du dein optimales Modell gefunden.

Installation in 10 Minuten

Das geht schneller als du denkst. Hier der direkte Weg für Mac und Windows:

Mac (Apple Silicon oder Intel)

1. Geh auf ollama.com und lade die Mac-Version herunter.
2. Öffne die heruntergeladene .dmg-Datei und ziehe Ollama in deinen Programme-Ordner.
3. Starte Ollama. Du siehst ein kleines Symbol in der Menüleiste. Fertig.
4. Öffne das Terminal (Spotlight: Terminal eingeben) und tippe:

ollama run llama3.2

Das Modell wird heruntergeladen (je nach Modell zwischen 4 und 8 GB) und startet dann direkt im Terminal als Chat. Du kannst sofort Fragen stellen.

Windows

1. Geh auf ollama.com und lade den Windows-Installer herunter.
2. Führe die .exe-Datei aus und folge dem Installer (zwei Klicks).
3. Öffne die Windows-Eingabeaufforderung oder PowerShell (Suche: cmd oder PowerShell).
4. Tippe:

ollama run mistral

Mistral ist etwas kleiner und damit für ältere Windows-Rechner ein guter Einstieg. Nach dem Download startest du direkt in den Chat.

Nützliche Befehle, die du kennen solltest:

ollama list              # Zeigt alle heruntergeladenen Modelle
ollama run phi4          # Startet Phi-4 direkt
ollama pull gemma4:E2B       # Lädt ein Modell herunter, ohne es sofort zu starten
ollama rm llama3.2       # Entfernt ein Modell wieder (spart Speicherplatz)

Das ist alles. Kein Python-Setup, keine virtuellen Umgebungen, keine Konfigurationsdateien. Ollama kümmert sich um den Rest.

So nutze ich Ollama im Arbeitsalltag

Ich sage das nicht, weil ich Werbung für ein Tool machen will. Ich sage es, weil ich es selbst täglich einsetze.

Mein häufigster Use Case: vertrauliche E-Mails zusammenfassen. Wenn ich lange Korrespondenzen von Kunden bekomme, die ich schnell strukturieren oder auf Kernaussagen reduzieren will, paste ich den Text in Ollama. Nicht in ChatGPT. Nicht in Gemini. In das lokale Modell auf meinem Mac mini, das keine Verbindung nach draußen aufbaut.

Ein zweites Szenario, das ich regelmäßig nutze: interne Dokumente analysieren. Angebote, Briefe, Vertragsunterlagen. Wenn ich wissen will, ob ein Text klar formuliert ist, ob Punkte fehlen, oder ob die Argumentation schlüssig ist, gebe ich ihn ins lokale Modell. Das ergebnis ist nicht immer perfekt. Aber es ist mein privater Assistent, der nichts weitererzählt.

Ein dritter Punkt, den ich schätze: Brainstorming ohne Filter. Manchmal will ich Ideen durchdenken, Szenarien skizzieren, Gedanken strukturieren, ohne dass ein Algorithmus in San Francisco meine Überlegungen zu Trainingsdaten macht. Lokale KI ist mein Notizbuch mit KI-Unterstützung.

Was das für die lokale KI DSGVO-Frage bedeutet: Wenn du personenbezogene Daten verarbeitest, also Kundennamen, E-Mail-Adressen, Projektdetails, dann ist lokale KI aus datenschutzrechtlicher Sicht sauber. Die Daten verlassen dein Gerät nicht. Es gibt keinen Auftragsverarbeiter, keinen Drittempfänger, keine Übermittlung in Drittstaaten. Das ist der wesentliche Unterschied zu Cloud-KI-Diensten.

Für meinen KI-Beratungsalltag ist das auch ein Glaubwürdigkeitsthema. Wenn ich meinen Kunden empfehle, DSGVO-konform mit KI zu arbeiten, muss ich selbst vorleben, wie das geht.

LM Studio als Alternative (für alle ohne Terminal-Angst)

Nicht jeder mag das Terminal. Das ist kein Problem, das ist eine Präferenz. Für alle, die eine grafische Benutzeroberfläche bevorzugen, ist LM Studio die empfehlenswertere Option.

LM Studio ist eine Desktop-App, die wie ein Mediaplayer für Sprachmodelle funktioniert. Du öffnest die App, suchst nach einem Modell (Llama, Mistral, Phi und viele mehr), klickst auf Download, und kannst danach direkt im eingebauten Chat-Interface loslegen. Keine Terminal-Befehle, keine Konfiguration, kein Hintergrundwissen nötig.

Was LM Studio zusätzlich kann: Es stellt einen lokalen API-Server bereit, der kompatibel mit der OpenAI API ist. Das bedeutet, du kannst bestimmte Tools, die normalerweise ChatGPT verwenden, auf deinen lokalen LM-Studio-Server umleiten. Für technisch etwas Versiertere ein sehr interessanter Ansatz.

LM Studio ist kostenlos für den persönlichen Gebrauch. Die Systemanforderungen sind ähnlich wie bei Ollama.

Wann bleibt Gemini oder Claude die bessere Wahl?

Ich wäre unehrlich, wenn ich sagen würde, lokale Modelle ersetzen Cloud-KI in allen Situationen. Das tun sie nicht. Noch nicht.

Hier ist meine ehrliche Einschätzung:

Lokale KI ist die richtige Wahl, wenn:

• du vertrauliche Daten, Kundendaten oder interne Dokumente verarbeitest
• du eine DSGVO-konforme Lösung ohne Cloud-Abhängigkeit brauchst
• du Kosten sparen willst und keine Premium-Features benötigst
• du Standardaufgaben erledigst: Texte zusammenfassen, E-Mails strukturieren, Inhalte überarbeiten

Cloud-KI (Claude, Gemini, ChatGPT) bleibt besser, wenn:

• du komplexe, mehrstufige Reasoning-Aufgaben hast, die die besten Modelle der Welt erfordern
• du Bilder analysieren oder generieren willst (lokale Multimodal-Modelle existieren, sind aber noch weniger ausgereift)
• du sehr langen Kontext verarbeitest (100.000 Tokens und mehr)
• du auf aktuelle Web-Informationen angewiesen bist
• du Geschwindigkeit und Qualität priorisierst und Datenschutz weniger kritisch ist (für Aufgaben ohne sensible Daten)

Die Wahrheit ist: In meinem Arbeitsalltag nutze ich beides. Für vertrauliche Aufgaben läuft Ollama lokal. Für komplexe Analysen, Recherchen oder Kreativarbeit greife ich auf Claude zurück, weil die Qualität dort schlicht höher ist. Das ist kein Widerspruch, das ist pragmatisches Werkzeugdenken.

Die lokale KI DSGVO-Frage beantwortet sich für mich damit klar: Immer dann, wenn ich nicht sicher bin, ob Daten in die Cloud dürfen, läuft es lokal. Immer dann, wenn Daten unkritisch sind und ich maximale Qualität will, nutze ich den besten Cloud-Dienst, den ich für die Aufgabe kenne.

Der einfachste Einstieg, den du heute noch machen kannst

Du brauchst kein Projekt, keinen Plan und keine IT-Abteilung. Du brauchst 10 Minuten, einen Laptop mit 8 GB RAM und Internetzugang für den einmaligen Download.

Geh auf ollama.com, lade das Programm herunter, tippe ollama run mistral ins Terminal, und schreib deinen ersten Satz in ein KI-Modell, das deinen Computer nicht mehr verlässt.

Schau, ob es für deine Aufgaben ausreicht. Wahrscheinlich wirst du überrascht sein, wie oft es das tut.

Das ist keine Revolution. Das ist ein Werkzeug. Aber es ist dein Werkzeug, auf deinem Gerät, unter deiner Kontrolle.

Du kannst warten, bis Big Tech das Datenschutzproblem für dich löst. Oder du löst es heute selbst.