Lokale KI: Möglichkeiten, Werkzeuge und ein Beispiel mit Ollama und AnythingLLM
Wer täglich mit ChatGPT, Claude oder Gemini arbeitet, hängt an einem Anbieter, an dessen Preisen und an einer Internetverbindung. Eine KI auf dem eigenen Rechner ist ein zweites Standbein. Hier steht, welche Möglichkeiten es gibt, welche Hardware man braucht und wie eine Einrichtung mit Ollama und AnythingLLM aussieht.
- Lokale KI
- Ollama
- AnythingLLM
- Datenschutz
Worum es geht
KI-Dienste wie ChatGPT, Claude oder Gemini laufen in Rechenzentren der Anbieter. Das hat Vorteile, sie sind leistungsfähig und immer aktuell. Es bringt aber auch eine Abhängigkeit mit sich. Fällt der Dienst aus, ändert der Anbieter die Preise oder die Bedingungen, oder ist schlicht das Internet weg, steht die Arbeit, die man sich angewöhnt hat.
Dazu kommt der Datenschutz. Alles, was man in so ein Chatfenster eingibt, verlässt den eigenen Rechner. Für viele Aufgaben ist das unproblematisch, für Kundendaten, Verträge oder Gesundheitsdaten oft nicht.
Eine KI, die auf dem eigenen Rechner läuft, löst beides nicht vollständig, aber sie verschiebt das Gewicht. In diesem Beitrag geht es darum, welche Möglichkeiten es dafür gibt, worauf man bei der Auswahl achten sollte und wie eine Einrichtung praktisch aussieht.
Was lokal bedeutet
Bei einer lokalen KI wird das SprachmodellDas eigentliche KI-Programm: eine große Datei mit gelernten Gewichten, die aus einer Eingabe eine passende Antwort erzeugt. Mehr bei Wikipedia (öffnet in neuem Fenster) auf den eigenen Rechner heruntergeladen und dort ausgeführt. Nach dem Download braucht es keine Internetverbindung mehr. Eingaben und Antworten bleiben auf dem Gerät.
Die Modelle stammen von verschiedenen Herstellern, die sie zum Herunterladen freigeben, zum Beispiel Qwen von Alibaba, Llama von Meta, Mistral von Mistral AI oder Gemma von Google. Jedes Modell hat eigene Lizenzbedingungen, die man vor dem beruflichen Einsatz lesen sollte.
Die Größe eines Modells wird in ParameternDie Zahl der gelernten Gewichte, angegeben in Milliarden (B für billion). 8B heißt acht Milliarden. Mehr Parameter bedeuten meist bessere Antworten und mehr Speicherbedarf. angegeben. Damit große Modelle auf normale Rechner passen, werden sie quantisiertDie Gewichte werden mit weniger Genauigkeit gespeichert, etwa mit 4 statt 16 Bit. Das Modell wird dadurch etwa viermal kleiner und verliert nur wenig Qualität. Mehr bei Wikipedia (öffnet in neuem Fenster)).
Was eine lokale KI kann, und was nicht
Gut geeignet sind Aufgaben, bei denen der Inhalt schon da ist: Texte zusammenfassen, umformulieren oder übersetzen, E-Mails vorformulieren, eigene Dokumente durchsuchen und befragen, Notizen ordnen. Gerade das Befragen eigener Unterlagen ist ein starkes Argument, weil man dafür vertrauliche Dateien nicht in die Cloud laden muss.
An Grenzen stößt eine lokale KI bei schwierigen Denkaufgaben, bei langem Programmcode und bei allem, was aktuelles Wissen aus dem Netz braucht. Die großen Cloud-Modelle sind hier deutlich stärker. Lokale Modelle sind außerdem langsamer, je nach Rechner spürbar.
Sinnvoll ist deshalb eine Arbeitsteilung: Vertrauliches und Alltägliches lokal, Recherche und anspruchsvolle Aufgaben in der Cloud. Und wenn die Cloud einmal nicht erreichbar ist, bleibt man arbeitsfähig.
| Arbeitsspeicher | Modellgröße | Eignung |
|---|---|---|
| 8 GB | bis etwa 4B | einfache Texte, kurze Zusammenfassungen |
| 16 GB | bis etwa 8B | Alltag: Mails, Umformulieren, Übersetzen |
| 32 GB | bis etwa 14B bis 20B | gute Qualität, auch für eigene Dokumente |
| 48 GB | bis etwa 35B | sehr gute Qualität, angenehmes Tempo auf aktuellen Apple-Chips |
| 64 GB und mehr | bis etwa 70B | nahe an kleineren Cloud-Modellen, dafür langsamer |
Faustwerte für Modelle mit 4-Bit-Quantisierung. Rechenregel: rund 0,6 GB pro Milliarde Parameter, dazu Reserve für das Betriebssystem und den Gesprächsverlauf.
Die Bausteine
Eine lokale KI besteht aus drei Teilen, die man getrennt oder als Paket bekommt.
Der Motor
Ein Programm, das Modelle lädt und ausführt. Es läuft im Hintergrund und nimmt Anfragen entgegen. Die bekanntesten sind Ollama und LM Studio. Beide bauen auf llama.cpp auf, einem quelloffenen Projekt, das man auch direkt nutzen kann, wenn man gern auf der Kommandozeile arbeitet.
Das Modell
Die Datei mit dem eigentlichen Wissen. Man lädt sie über den Motor herunter, zum Beispiel aus der Bibliothek von Ollama oder über die Suche in LM Studio. Für das Befragen eigener Dokumente braucht man zusätzlich ein kleines Embedding-ModellEin Modell, das Texte in Zahlenreihen übersetzt, damit inhaltlich ähnliche Abschnitte gefunden werden können. Es schreibt keine Antworten..
Die Oberfläche
Das Fenster, in dem man schreibt. Manche Motoren bringen eine mit, andere Oberflächen verbinden sich mit einem Motor. Hier entscheidet sich, wie bequem die Arbeit im Alltag ist und ob man eigene Dokumente einbinden kann.
| Werkzeug | Was es ist | Kosten und Lizenz | Passt für |
|---|---|---|---|
| Ollama | Motor, läuft im Hintergrund, mit kleiner App und Kommandozeile | kostenlos, Open Source (MIT) | alle, die mehrere Programme an eine KI anbinden wollen |
| LM Studio | Motor und Oberfläche in einem Programm | kostenlos, auch beruflich seit Juli 2025, nicht Open Source | den einfachsten Einstieg ohne Kommandozeile |
| AnythingLLM | Desktop-App mit Arbeitsbereichen und Dokumenten, verbindet sich mit Ollama oder LM Studio | kostenlos, Open Source (MIT) | Einzelpersonen, die eigene Unterlagen befragen wollen |
| Open WebUI | Oberfläche im Browser, für mehrere Nutzer, meist per Docker installiert | kostenlos, eigene Lizenz mit Branding-Pflicht | Teams auf einem gemeinsamen Rechner oder Server |
Stand Oktober 2026. Bei Open WebUI muss seit Version 0.6.6 das Open-WebUI-Logo sichtbar bleiben, ausgenommen sind Installationen mit höchstens 50 Nutzern in 30 Tagen.
Eigene Dokumente befragen
Der größte Nutzen entsteht, wenn die KI auf eigene Unterlagen zugreift: Anleitungen, Notizen, Verträge, Fachliteratur, Exporte aus Notion oder alte Projektordner. Das Verfahren heißt RAGRetrieval Augmented Generation: Vor jeder Antwort sucht das System passende Abschnitte aus den eigenen Dokumenten und gibt sie dem Modell als Grundlage mit. Mehr bei Wikipedia (öffnet in neuem Fenster).
Vereinfacht läuft es so: Die Dokumente werden in Abschnitte zerlegt, das Embedding-Modell übersetzt jeden Abschnitt in Zahlen, und die landen in einer kleinen Datenbank auf dem Rechner. Bei einer Frage sucht das System die passendsten Abschnitte heraus und gibt sie dem Sprachmodell mit. Die Antwort stützt sich dann auf diese Abschnitte und kann die Quelle nennen.
Wichtig dabei: Das Modell lernt die Dokumente nicht. Es bekommt bei jeder Frage nur einige passende Stellen zu sehen. Für eine Frage, die das ganze Dokument betrifft, etwa eine Zusammenfassung von 40 Seiten, muss man das Dokument direkt anheften oder abschnittsweise vorgehen.
Praxisbeispiel: Ollama und AnythingLLM am Mac
Das folgende Beispiel beschreibt eine Einrichtung, wie ich sie selbst nutze, vereinfacht für einen Mac mit Apple-Chip. Ollama übernimmt die Rolle des Motors, AnythingLLM die Oberfläche mit Arbeitsbereichen und Dokumenten. Unter Windows funktioniert es genauso, nur die Installation sieht etwas anders aus.
Warum diese Kombination: Ollama läuft unauffällig im Hintergrund und kann von mehreren Programmen gleichzeitig genutzt werden, zum Beispiel auch von eigenen Skripten. AnythingLLM ist eine normale Desktop-App ohne Server und ohne Docker und ordnet Dokumente in Arbeitsbereiche, etwa einen für Technik und einen für Recht. Für eine einzelne Person ist das die schlankeste Lösung, die eigene Dokumente ernsthaft einbindet.
Einrichtung in sieben Schritten
Ollama installieren
Auf ollama.com die Mac-App herunterladen, in den Ordner Programme ziehen und einmal öffnen. In der Menüleiste erscheint ein kleines Lama-Symbol. Ollama läuft jetzt im Hintergrund.
Sprachmodell laden
Im Terminal ein Modell herunterladen, passend zum Arbeitsspeicher, siehe Tabelle oben. Die Befehle stehen weiter unten. Ein Modell mit 8B ist rund 5 GB groß, eines mit 30B rund 19 GB.
Embedding-Modell laden
Für die Dokumente zusätzlich ein Embedding-Modell laden. bge-m3 kommt gut mit deutschen Texten zurecht und ist rund 1 GB groß.
AnythingLLM installieren
Auf anythingllm.com die Desktop-Version für den Mac herunterladen und installieren. Beim ersten Start fragt die App nach dem Anbieter: Ollama wählen. Die Adresse lautet http://127.0.0.1:11434, danach das Sprachmodell aus der Liste wählen.
Embedder und Datenbank einstellen
In den Einstellungen unter Embedder ebenfalls Ollama wählen und bge-m3 eintragen. Als Vektordatenbank die Voreinstellung LanceDB lassen, sie liegt lokal auf dem Rechner. Unter Datenschutz die anonyme Telemetrie abschalten.
Arbeitsbereich und Dokumente
Einen Arbeitsbereich anlegen, etwa "Anleitungen". Über das Hochladen-Symbol Dokumente hinzufügen, in den Arbeitsbereich verschieben und einbetten lassen. Bei vielen Dateien dauert das eine Weile.
Anweisung festlegen
In den Einstellungen des Arbeitsbereichs eine Anweisung für das Modell hinterlegen, zum Beispiel: "Antworte auf Deutsch. Stütze Dich nur auf die Dokumente im Arbeitsbereich und nenne zu jeder Aussage die Quelle. Wenn die Dokumente keine Antwort enthalten, sag das." Für reine Dokumentfragen den Abfrage-Modus wählen, für freies Schreiben den Chat-Modus.
Befehle für das Terminal
Terminal öffnen (Cmd und Leertaste, "Terminal" tippen, Enter), Befehl mit dem Knopf kopieren, einfügen, Enter.
Prüfen, ob Ollama läuft:
ollama --versionSprachmodell für Rechner mit 16 GB laden:
ollama pull qwen3:8bOder für Rechner ab 32 GB:
ollama pull qwen3:30bEmbedding-Modell für die Dokumente:
ollama pull bge-m3Alle geladenen Modelle anzeigen:
ollama listKurzer Test ohne Oberfläche:
ollama run qwen3:8b "Erkläre in zwei Sätzen, was ein Embedding-Modell ist."Prüfen, ob andere Programme Ollama erreichen. Die Antwort ist eine Zeile mit den Namen der Modelle:
curl -s http://127.0.0.1:11434/api/tagsQwen3-Modelle denken vor der Antwort sichtbar nach. Das macht Antworten gründlicher, aber langsamer. Wer schnelle Antworten braucht, schreibt /no_think an das Ende der Frage.
Abwägungen, die sich bewährt haben
- Eine Oberfläche für alles. Lieber ein Programm mit mehreren Arbeitsbereichen als mehrere Programme nebeneinander. Sonst weiß man nach drei Wochen nicht mehr, wo was liegt.
- Kein Docker auf dem Arbeitsrechner. Für eine Person ist eine Desktop-App einfacher zu pflegen. Docker lohnt sich, wenn ein Server mehrere Nutzer bedient.
- Modellgröße nach Alltag wählen. Ein großes Modell, auf dessen Antwort man eine Minute wartet, benutzt man irgendwann nicht mehr. Lieber eine Stufe kleiner und dafür flüssig.
- Dokumente auf einen eigenen Datenträger. Bestand und Datenbank auf einer externen SSD lassen sich leichter sichern und umziehen als ein voller interner Speicher.
- Originale nur kopieren. Dokumente werden ins Archiv kopiert, nie verschoben. Gelöscht wird von Hand.
- Keine Websuche lokal. Was aktuelles Wissen braucht, bleibt bei der Cloud-KI. Die lokale KI arbeitet nur mit dem, was im Bestand liegt, und das ist überprüfbar.
- Den Wiederaufbau aufschreiben. Eine Anleitung, wie sich alles auf einem neuen Rechner wieder einrichten lässt, gehört mit in den Bestand. Einmal im Jahr testen.
Was man in Kauf nimmt
- Die Hardware kostet Geld. Ein Rechner mit 32 GB oder mehr Arbeitsspeicher ist deutlich teurer als ein Abo.
- Modelle, Motor und Oberfläche wollen gepflegt werden. Updates kommen oft, und nicht jedes passt sofort zusammen.
- Die Qualität liegt unter den großen Cloud-Modellen.
- Bei langen Antworten läuft der Rechner unter Volllast, laut und warm.
Fragen und Antworten
Brauche ich für eine lokale KI Internet?
Nur zum Herunterladen der Programme und Modelle und für Updates. Danach läuft alles ohne Verbindung.
Ersetzt eine lokale KI ChatGPT oder Claude?
Für viele Alltagsaufgaben ja, für anspruchsvolle Aufgaben und Recherche nicht. Sie ist ein zweites Standbein und der richtige Ort für vertrauliche Inhalte.
Sind meine Daten bei einer lokalen KI automatisch sicher?
Sie verlassen den Rechner nicht, solange keine Cloud-Dienste angebunden sind. Trotzdem lohnt ein Blick in die Einstellungen: Telemetrie abschalten und prüfen, dass als Anbieter wirklich der lokale Motor eingetragen ist.
Was kostet das?
Die Programme in diesem Beitrag sind kostenlos. Die Kosten liegen in der Hardware und in der Zeit für Einrichtung und Pflege.
Geht das auch für ein kleines Team?
Ja, dann eher mit einem gemeinsamen Rechner im Netzwerk, auf dem Ollama läuft, und einer Browser-Oberfläche wie Open WebUI. Für Zugriffsrechte und Sicherheit braucht es dann etwas mehr Planung.