96 Prozent der deutschen Unternehmen würden lieber KI von einem deutschen Anbieter nutzen. Das hat Bitkom Anfang November 2026 zum Digital-Gipfel veröffentlicht.
Zwei Monate vorher, aus derselben Befragung: ChatGPT nutzen 76 Prozent der KI-anwendenden Firmen, Microsoft Copilot 35 Prozent, Gemini 28 Prozent. Mistral, der grösste europäische Anbieter, kommt auf null Prozent. Und 64 Prozent sagen, für einen Dienst, der ihre Daten ausschliesslich in Deutschland hält, würden sie keinen Cent mehr zahlen.
Souveränität wollen alle, zahlen will niemand, und benutzt wird, was gerade im Browser offen ist.
Dabei gibt es seit etwa zwei Jahren einen Weg, der weder einen deutschen Anbieter noch einen Aufpreis braucht: lokale KI-Modelle, die auf dem eigenen Rechner laufen. Ich schreibe diesen Text auf einem Mac, auf dem LM Studio läuft, und das Modell darin hat heute noch keine einzige Anfrage ins Internet geschickt. Ohne Konto, ohne Abo und ohne Auftragsverarbeitungsvertrag.
Das klang 2023 nach Bastelei für Informatiker, und das war es damals auch. 2026 ist es das nicht mehr.
Dieser Artikel ist der Einstieg, den ich selbst gern gehabt hätte, für Leute, die einfach ein Programm installieren wollen, genauso wie für die, die am Ende eine API und ein RAG-System haben möchten. Stand ist November 2026, und bei diesem Thema gehört das Datum nach oben, weil sich alle drei Monate etwas ändert.
Wer gleich loslegen will, springt direkt zu den ersten zehn Minuten. Der Rest in dieser Reihenfolge: Was lokal und Open Weights heisst, welche Hardware du brauchst, welche Software auf Mac, Windows und Linux läuft, woher die Modelle kommen, wie du eigene Dateien einbindest, API und Automatisierung und wo lokal aufhört.
Was „lokal“ und „Open Weights“ eigentlich heisst
Ein lokales Modell ist eine Datei. Zwischen zwei und zweihundert Gigabyte gross, je nach Modell, und sie enthält die trainierten Gewichte eines Sprachmodells plus den Tokenizer.
Ein Programm wie LM Studio oder Ollama lädt diese Datei in den Arbeitsspeicher und rechnet damit auf deinem Prozessor oder deiner Grafikkarte. Es gibt keinen Server, der mitliest. Zieh das Netzwerkkabel, es läuft weiter.
Open Weights ist nicht Open Source
Dass solche Dateien überhaupt frei verfügbar sind, verdanken wir einem Begriff, der gern falsch benutzt wird: „Open Weights“. Das heisst nur, dass die Gewichte zum Download stehen, nicht dass Trainingsdaten und Trainingscode offen sind.
Die Open Source Initiative hat im Oktober 2024 eine eigene Definition für Open Source AI veröffentlicht (OSAID 1.0), und die verlangt genau das zusätzlich: Informationen über die Daten, den kompletten Code, die Gewichte und eine Lizenz, die Nutzung, Veränderung und Weitergabe für jeden Zweck erlaubt. Nach dieser Definition sind die meisten „offenen“ Modelle, Llama eingeschlossen, keine Open-Source-Modelle. OLMo 3 von Ai2, das Schweizer Apertus und seit Juli 2026 das deutsche Soofi S erfüllen die Definition nach eigener Angabe; die grossen Namen liefern Gewichte und sonst nichts.
Die Lizenz entscheidet, ob du es im Unternehmen nutzen darfst
Für den Alltag ist die Lizenz wichtiger als die Philosophie, und hier hat sich 2026 viel bewegt, in die richtige Richtung. Google hat Gemma 4 am 2. April 2026 unter Apache 2.0 veröffentlicht, nach drei Generationen mit eigenen „Gemma Terms of Use“.
Alibaba liefert die komplette Qwen-Familie unter Apache 2.0, Mistral ebenso, OpenAI sein gpt-oss, IBM Granite, und seit dem 10. August 2026 sogar Meta mit Muse Glimmer-30B, dem ersten offenen Modell seit Llama 4.
Apache 2.0 und MIT heissen: kommerziell nutzen, verändern, weitergeben, keine Rückfragen, und die wenigen Ausnahmen muss man kennen. Die Llama-4-Lizenz schliesst Unternehmen mit Sitz in der EU von den multimodalen Varianten aus, verlangt den Hinweis „Built with Llama“ und hat eine Sonderklausel ab 700 Millionen monatlichen Nutzern. Moonshots Kimi K2.6 trägt eine „modified MIT“ mit Hinweispflicht in der Oberfläche ab 100 Millionen Nutzern.
Für einen Mittelständler sind die Nutzerklauseln egal, der EU-Ausschluss bei Llama ist es nicht. Mein Rat: auf Hugging Face das Feld „License“ auf der Modellseite lesen, bevor das Modell in ein Firmenprojekt wandert. Steht da „other“, die LICENSE-Datei öffnen.
Wie gut sind offene Modelle?
Drei Messungen aus 2026 sagen dasselbe. Epoch AI hat Ende Mai gerechnet, dass die besten Open-Weight-Modelle der Frontier im Schnitt vier Monate hinterherlaufen. Artificial Analysis sah Ende April einen Abstand von drei bis sechs Punkten auf seinem Index zum Spitzenreiter GPT-5.5, und auf der Arena-Rangliste lag die Lücke im September bei 29 Elo-Punkten.
Das klingt nach wenig, und für die meisten Alltagsaufgaben ist es auch wenig. Nur haben diese Spitzenmodelle (Kimi K3, DeepSeek V4, GLM-5.2, Qwen3.8-Max) Hunderte Milliarden bis Billionen Parameter und laufen auf keinem Laptop dieser Welt.
Die ehrlichere Zahl für dich und mich kommt ebenfalls von Epoch: Modelle, die auf eine Consumer-Grafikkarte passen, erreichen das Frontier-Niveau mit sechs bis zwölf Monaten Verzögerung. Was heute auf deinem Mac läuft, entspricht grob dem, was Anfang 2026 das Beste aus der Cloud war. Das muss man sacken lassen, in beide Richtungen: weniger als das Beste, was es gibt, und weit mehr, als die meisten Unternehmen heute produktiv nutzen. Warum so viele trotzdem abwarten, habe ich in Zwei Millionen KI-Modelle und manche wollen noch drei Jahre warten aufgeschrieben.
Hardware: Speicher schlägt Rechenleistung
Die wichtigste Erkenntnis, bevor du irgendetwas kaufst oder installierst: Beim Generieren von Text ist nicht die Rechenleistung der Engpass, sondern die Speicherbandbreite. Für jedes einzelne Wort, das ein Modell schreibt, müssen sämtliche Gewichte einmal durch den Speicher.
Ein Modell mit sieben bis acht Milliarden Parametern in 4-Bit-Quantisierung ist vier bis fünf Gigabyte gross. Ein Mac mit M4 hat 120 Gigabyte pro Sekunde Speicherbandbreite, also liefert er theoretisch 24 bis 30 Token pro Sekunde, und gemessen sind es laut dem llama.cpp-Benchmark-Thread 24,1 bei einem 7B-Modell. Eine RTX 3090 hat 936 Gigabyte pro Sekunde und schafft an die hundert Token pro Sekunde, eine Laptop-CPU mit DDR5-Speicher liegt bei 10 bis 14.
Zur Einordnung: Ein Mensch liest grob fünf bis acht Token pro Sekunde. Alles ab 15 fühlt sich flüssig an, alles ab 30 fühlt sich an wie ChatGPT.
Das Modell muss in den schnellen Speicher passen
Auf dem Mac ist das der Unified Memory, den sich CPU und GPU teilen, wovon du etwa 70 bis 75 Prozent für das Modell einplanen kannst. Auf einem Windows- oder Linux-PC ist es der VRAM der Grafikkarte.
Läuft das Modell über, lagert die Software Teile in den normalen RAM aus, und dann wird es laut Messungen auf einer RTX 4080 drei- bis zehnmal langsamer. Akzeptabel für Stapelverarbeitung über Nacht, frustrierend im Chat.
Die Faustformel für die Grösse: Parameter in Milliarden mal 0,6 ergibt die Gigabyte für eine Datei in der gängigen Q4-Quantisierung, plus zwei bis sechs Gigabyte für den Kontext. Daraus ergeben sich vier Stufen, mit Preisen von 2026 (die RAM-Krise hat dieses Jahr alles teurer gemacht):
| Stufe | Hardware | Modellgrösse | Beispiel und Preis |
|---|---|---|---|
| Schwacher Laptop | 8 bis 16 GB RAM, keine Grafikkarte | 1 bis 4 Milliarden Parameter | der Laptop, den du schon hast |
| Solider Alltagsrechner | 16 bis 32 GB Mac, oder 8 bis 12 GB VRAM | 7 bis 14 Milliarden | Mac mini M4 16 GB, rund 600 bis 700 Euro (Mai 2026) |
| Ambitioniert | 32 bis 64 GB Mac, oder 24 GB VRAM | 27 bis 32 Milliarden, oder MoE bis 35B | gebrauchte RTX 3090, 800 bis 950 Euro (März 2026) |
| Workstation | 96 bis 128 GB Unified Memory | MoE-Modelle bis 120 Milliarden | Framework Desktop 128 GB, 2.769 Euro (Januar 2026) |
Der Mac mini mit 16 GB schafft Gemma 4 12B mit rund 22 Token pro Sekunde. Die gebrauchte RTX 3090 ist nach wie vor die schnellste Karte pro Euro für Modelle bis 30 Milliarden Parameter. Der Framework Desktop mit AMD Ryzen AI Max+ 395 lässt gpt-oss-120b mit 35 bis 53 Token pro Sekunde laufen.
Am oberen Ende wird es teuer. Ein Mac Studio M5 Max beginnt bei 2.999 Euro mit 36 GB, die von Macwelt getestete 128-GB-Konfiguration lag bei 7.839 Euro. Und die RTX 5090, die mit 2.099 Euro UVP gestartet war, kostete im September 2026 mindestens 5.249 Euro. Wer eine Grafikkarte nur für KI kaufen will, kauft gebraucht oder gar nicht.
Zwei Mythen
Erstens bringt die NPU in deinem neuen Copilot+-Laptop für lokale Chatmodelle nichts. Ollama, LM Studio und llama.cpp rechnen auf CPU und GPU, die NPU erreicht man nur über Microsofts Foundry Local mit eigens konvertierten Modellen, und sie hängt an derselben Speicherbandbreite wie die CPU.
Zweitens gehen AMD- und Intel-Grafikkarten inzwischen. Seit Ollama 0.30 im Juni 2026 ist Vulkan standardmässig aktiv, LM Studio fällt ebenfalls auf Vulkan zurück, und auf den Strix-Halo-Chips von AMD ist Vulkan beim Generieren sogar schneller als AMDs eigenes ROCm. NVIDIA bleibt der Weg ohne Reibung, aber nicht mehr der einzige. Wer schon eine Radeon im Rechner hat, sollte sie also erst ausprobieren, bevor er eine neue Karte kauft.
Die Software: Was auf Mac, Windows und Linux läuft
Unter fast allem liegt dieselbe Bibliothek: llama.cpp von Georgi Gerganov, das Open-Source-Projekt, das 2023 das Dateiformat GGUF eingeführt hat. LM Studio, Ollama, Jan, AnythingLLM und KoboldCpp bauen alle darauf auf. Die Unterschiede liegen in der Oberfläche, der Lizenz und darin, wie viel du anfassen musst.
| Tool | Plattformen | Lizenz | Oberfläche | API-Port | Dateien / RAG |
|---|---|---|---|---|---|
| LM Studio 0.4.28 | Mac (nur Apple Silicon), Windows, Linux | proprietär, seit Juli 2025 frei für die Arbeit | GUI | 1234 | einzelne Dateien anhängen |
| Ollama 0.40 | Mac, Windows (App), Linux (Terminal) | MIT | App plus Terminal | 11434 | Dateien in die App ziehen |
| Jan 0.8.8 | Mac, Windows, Linux | Apache 2.0 | GUI | 1337 | Projekte mit Dateien |
| AnythingLLM 1.13 | Mac, Windows, Linux, Docker | MIT | GUI | eigene API | echtes RAG über ganze Ordner |
| Open WebUI | Docker, Python, Desktop-App | quelloffen mit Branding-Klausel ab 50 Nutzern | Browser | 8080 (Docker: 3000) | RAG, Teams, OCR |
| llama.cpp | alles | MIT | Web-UI im Browser | 8080 (neuere Builds: 9931) | manuell |
Pro Betriebssystem heisst das: Auf dem Mac mit M1 oder neuer LM Studio, mit 16 GB RAM als Untergrenze (8 GB gehen, aber nur mit 4B-Modellen). Auf Windows LM Studio für die grafische Variante oder die Ollama-App; beide installieren ohne Adminrechte. Auf Linux Ollama als Dienst, LM Studio als AppImage, wenn du eine Oberfläche willst. Wer vor allem mit Ordnern voller PDFs arbeiten will, nimmt direkt AnythingLLM.
LM Studio: der Einstieg mit Oberfläche
LM Studio ist das, was ich selbst benutze, und es ist 2026 der Konsens als Einstieg auf dem Mac. Macwelt hat es im August 2026 gegen Ollama getestet und nennt es die einsteigerfreundlichere Option: grafische Oberfläche, Modellsuche mit Hardware-Check, der dir vor dem Download sagt, ob das Modell in deinen Speicher passt. Auf Apple Silicon nutzt es Apples MLX-Framework, was spürbar schneller ist als der generische Weg.
Inzwischen bewirbt LM Studio auf seiner Startseite vor allem Bionic, einen eigenen Agenten für offene Modelle; die klassische App gibt es weiter, und um die geht es hier. Haken: Sie läuft nur auf Apple Silicon, nicht auf Intel-Macs, und der Code ist nicht offen. Seit dem 8. Juli 2025 darf man sie ohne Vertrag auch im Unternehmen nutzen, die Nutzungsbedingungen vom August 2026 erlauben „persönliche und interne geschäftliche Zwecke“.
Ollama, Jan und der Rest
Ollama ist das Werkzeug der Entwickler. Seit Juli 2025 gibt es eine Ollama-App für Mac und Windows, auf Linux bleibt es ein Dienst im Hintergrund, der sich mit einer Zeile installiert. Die Stärke ist die Kommandozeile: ollama run gemma4 lädt und startet das Modell, fertig.
Ollama hat 2026 zwei Dinge getan, die man wissen muss. Es hat im März eine MLX-Engine für Apple Silicon bekommen, die bei Qwen3.5-35B-A3B die Geschwindigkeit von 58 auf 112 Token pro Sekunde fast verdoppelt hat. Und es hat ein Cloud-Angebot mit bezahlten Modellen eingeführt. Wer Ollama wegen des Datenschutzes nutzt, setzt die Umgebungsvariable OLLAMA_NO_CLOUD=1, damit kein Modell mit dem Zusatz :cloud versehentlich Anfragen nach aussen schickt.
Jan ist die Wahl, wenn Open Source Pflicht ist: Apache 2.0, läuft auch auf Intel-Macs, kann MCP und seit Oktober 2026 eigene Subagenten. Die Oberfläche ist weniger poliert, die Modellbibliothek kleiner.
GPT4All, lange der Klassiker für „Chat mit meinen Dokumenten“, hat seit Februar 2025 keine neue Version mehr gesehen; ich würde es nicht mehr empfehlen. Und für die, die wissen wollen, was unter der Haube passiert: llama-server aus llama.cpp bringt inzwischen eine eigene Web-Oberfläche mit Einstellungen und MCP-Dialogen mit.
Schritt für Schritt: Die ersten zehn Minuten
Mac mit LM Studio
- DMG von lmstudio.ai laden und öffnen. Vorausgesetzt wird macOS 14 oder neuer.
- Mit Cmd+Shift+M die Modellsuche öffnen und „gemma 4“ oder „qwen3.5“ eintippen. LM Studio zeigt pro Datei die Grösse, die Quantisierung und eine Schätzung, ob sie in deinen Speicher passt.
- Eine Variante mit „Q4_K_M“ wählen oder, auf dem Mac besser, die MLX-Version in 4 Bit.
- Nach dem Download das Modell im Chat-Fenster laden. In der Seitenleiste stehen zwei Regler: GPU-Offload (auf dem Mac auf Maximum) und Kontextlänge (8.000 Token zum Start, 32.000 für Dokumente).
- Die erste Frage schreiben.
Die Kontextlänge ist das Arbeitsgedächtnis des Modells in Token, wobei ein Token etwa drei Viertel eines englischen Wortes entspricht, man im Deutschen pro Wort eher mehr braucht und jedes zusätzliche Token Speicher kostet. Die Modelldatei liegt übrigens unter ~/.lmstudio/models/, und bei fünf Modellen sind das schnell 40 Gigabyte.
Windows und Linux mit Ollama
Auf Windows:
- OllamaSetup.exe von ollama.com laden. Voraussetzung ist Windows 10 22H2 oder neuer, bei NVIDIA der Treiber 551.61 oder neuer.
- Die App startet als Tray-Icon und stellt die API unter
http://localhost:11434bereit. - In der App ein Modell auswählen und bei Bedarf PDFs oder Bilder hineinziehen, oder in PowerShell
ollama run gemma4:12btippen, was dasselbe tut. - Mit
ollama psprüfen, ob das Modell auf der GPU oder der CPU rechnet (Spalte PROCESSOR).
Mit einer AMD-Karte reicht ein aktueller Radeon-Treiber, Vulkan ist seit Version 0.30 Standard. Zwei Windows-Fallen gibt es: Defender und SmartScreen melden gern unbekannte Installer, und der Echtzeitschutz kann einen 18-Gigabyte-Download mitten im Schreiben in Quarantäne schicken. Eine Ausnahme nur für den Modellordner (%USERPROFILE%\.ollama\models) löst das, den Schutz global abschalten sollte niemand.
Auf Linux:
- Installieren mit einer Zeile:
curl -fsSL https://ollama.com/install.sh | sh. Das legt einen Systemdienst und den Benutzerollamaan. - Bei NVIDIA vorher die CUDA-Treiber installieren und mit
nvidia-smiprüfen, bei AMD ROCm 7 oder einfach Vulkan. - Für den Zugriff aus dem Netzwerk
systemctl edit ollama.serviceaufrufen undEnvironment="OLLAMA_HOST=0.0.0.0:11434"eintragen.
Die Modelle liegen danach unter /usr/share/ollama/.ollama/models.
Auf beiden Systemen gibt es eine Einstellung, die fast jeder übersieht: Ollama setzt die Kontextlänge standardmässig auf 4.096 Token, sobald weniger als 24 Gigabyte Grafikspeicher da sind. Das sind etwa vier bis sechs Seiten Text, egal was die Modellkarte mit „256K Kontext“ verspricht.
Wer Dokumente anhängt oder Coding-Werkzeuge anschliesst, setzt OLLAMA_CONTEXT_LENGTH=32768 (oder in der App den Regler) und beobachtet den Speicher. Ollama selbst empfiehlt für Agenten mindestens 64.000.
Woher die Modelle kommen, und welche du nehmen solltest
Es gibt drei Quellen, und sie überlappen.
Hugging Face ist das GitHub der Modelle. Dort liegen die Original-Repositories der Hersteller (google/gemma-4-12B, Qwen/Qwen3.6-35B-A3B, meta-models/Muse-Glimmer-30B) und daneben die GGUF-Umwandlungen von Leuten, die das als Handwerk betreiben: unsloth, bartowski, mradermacher, dazu lmstudio-community und mlx-community für die Mac-Formate.
Die Ollama-Bibliothek auf ollama.com/library ist kuratierter und einfacher. Ein Name wie gemma4:12b-it-q4_K_M sagt dir Modell, Grösse, Variante und Quantisierung auf einmal, und Gemma 4 allein hatte dort im November 2026 über 28 Millionen Downloads.
LM Studio zieht direkt aus Hugging Face und versteckt die Komplexität hinter der Suche. Bei Apache-2.0- und MIT-Modellen gibt es nichts zu akzeptieren. Bei Llama und den älteren Gemma-Versionen musst du auf Hugging Face eingeloggt sein und die Bedingungen bestätigen.
Die Dateinamen lesen
GGUF ist das Format: eine einzige Datei mit Gewichten, Tokenizer und Metadaten, die llama.cpp direkt lädt. Q4_K_M heisst 4 Bit pro Gewicht mit etwas mehr Präzision in den Attention-Schichten, und das ist der Sweet Spot: rund 96 Prozent der Qualität des Originals bei einem Viertel der Grösse.
Q8_0 ist fast verlustfrei, aber doppelt so gross. Unter 4 Bit (Q3, Q2) bricht vor allem die Qualität beim Rechnen und Schlussfolgern ein. Für ein 7B-Modell heisst das konkret: Q8_0 7,7 GB, Q5_K_M 5,1 GB, Q4_K_M 4,4 GB, Q3_K_M 3,5 GB. Auf dem Mac sind die MLX-Varianten in 4 Bit bei gleicher Grösse die schnellere Wahl.
Meine Empfehlungen pro Stufe
Diese Liste stimmt im November 2026 und wird in drei Monaten überholt sein. Die Grössen gelten für die Q4-Variante.
| Stufe | Erste Wahl | Alternativen | Grösse der ersten Wahl |
|---|---|---|---|
| Schwacher Laptop, 8 bis 16 GB | Gemma 4 E4B (bei 8 GB: E2B) | Qwen3.5 2B oder 4B, Phi-4-mini | 6,6 GB (E2B: 4,6 GB) |
| 16 bis 32 GB Mac, 8 bis 12 GB VRAM | Gemma 4 12B | Qwen3.5 9B, Ministral 3 8B oder 14B | 8,0 GB |
| 32 bis 64 GB Mac, 24 GB VRAM | Gemma 4 31B oder Muse Glimmer-30B | Qwen3.8-27B, Qwen3.6-35B-A3B, gpt-oss-20b | 20 GB bzw. 17 GB |
| 96 bis 128 GB | gpt-oss-120b | Qwen3.5-122B-A10B, Mistral Small 4 | rund 60 GB |
Gemma 4 12B kam am 3. Juni 2026, versteht Bilder und Ton und hat 256.000 Token Kontext; Macwelt fand es bei deutschen Zusammenfassungen deutlich zuverlässiger als Qwen 2.5 7B.
Gemma 4 31B stand laut Google im April 2026 auf Platz 3 der offenen Modelle der Arena-Rangliste. Muse Glimmer-30B ist ausdrücklich für eine 24-GB-Karte oder einen Mac gebaut und liegt laut Artificial Analysis fünf Indexpunkte vor Gemma 4 31B. Mistral Small 4 hat trotz des Namens 119 Milliarden Parameter und gehört auf keinen Laptop.
Was „A3B“ bedeutet
Das „A3B“ in den Namen ist die wichtigste Entwicklung des Jahres für schwache Hardware. Ein dichtes Modell nutzt bei jedem Token alle Parameter. Ein Mixture-of-Experts-Modell enthält viele Experten-Teilnetze, von denen ein Router pro Token nur wenige aktiviert: bei Qwen3.6-35B-A3B sind von 35 Milliarden nur 3 Milliarden aktiv, bei Gemma 4 26B-A4B nur 4 von 26.
Im Speicher müssen trotzdem alle liegen, gerechnet wird aber wie mit einem 3B-Modell. Deshalb läuft Qwen3 30B-A3B auf einem Strix-Halo-Rechner mit 86 Token pro Sekunde, während das dichte Qwen 32B auf derselben Maschine bei 11 liegt.
Der Preis: Pro Gigabyte Speicher ist ein dichtes Modell etwas klüger. Gemma 4 31B gegen 26B-A4B steht bei MMLU Pro 85,2 gegen 82,6 Prozent, bei nur zwei Gigabyte Unterschied.
Und auf Deutsch?
Da bin ich vorsichtig, weil es keine belastbaren deutschen Rankings für die kleine Klasse gibt. Gemma 4 ist auf über 140 Sprachen trainiert, Qwen3.5 auf 201, und Mistral sitzt in Paris.
Das Soofi-Konsortium (KI Bundesverband, Fraunhofer IAIS und IIS, DFKI, TU Darmstadt, Uni Würzburg) hat im Juli 2026 Soofi S veröffentlicht, ein 30B-A3B-Modell auf der Nemotron-Architektur von NVIDIA, trainiert auf der Industrial AI Cloud der Telekom in München, mit gut 15 Prozent deutschen Trainingsdaten in der zweiten Phase und mit offenem Code, Daten und Checkpoints. Es ist als Basismodell für industrielle Anwendungen gedacht, nicht als fertiger Chatbot. Teuken-7B aus dem OpenGPT-X-Projekt und das Schweizer Apertus sind ehrlich gesagt eine Generation zurück.
Mein Vorgehen bleibt banal: drei Modelle laden, dieselben fünf eigenen deutschen Dokumente durchjagen, vergleichen. Dauert einen Nachmittag und schlägt jede Rangliste.
Eigene Dateien einbinden: Von „PDF reinziehen“ bis RAG
Fast jeder will dasselbe: dem Modell die eigenen Unterlagen geben, also Angebote, Verträge, Protokolle, das Wiki. Es gibt dafür zwei Mechanismen, und zu wissen, welcher gerade läuft, erspart viel Frust.
Der erste ist simpel: LM Studio packt ein angehängtes PDF, DOCX oder TXT komplett in den Kontext, solange es in die Kontextlänge passt. Das Modell sieht dann jedes Wort und antwortet entsprechend genau. Die Ollama-App und Jan funktionieren ähnlich, und für ein 20-seitiges Angebot bei 32.000 Token Kontext reicht das vollkommen.
Der zweite ist RAG, Retrieval-Augmented Generation, und er greift, sobald die Dokumente nicht mehr in den Kontext passen. In jedem Tool passiert dann dasselbe, egal wie es aussen heisst: Die Dokumente werden in Stücke von etwa 1.000 Zeichen geschnitten, ein Embedding-Modell verwandelt jedes Stück in einen Zahlenvektor, die Vektoren landen in einer Datenbank, und bei einer Frage werden die vier bis acht ähnlichsten Stücke herausgesucht und dem Sprachmodell zusammen mit der Frage vorgelegt.
Das Modell liest also nie deinen ganzen Ordner, nur die Ausschnitte, die ein Ähnlichkeitsvergleich für relevant hält. Daraus folgen die typischen Fehler: Antworten sind nur so gut wie die gefundenen Stücke, ein Paragraf, der mitten im Satz geschnitten wird, verliert seinen Sinn, und ein Embedding-Modell, das Englisch gelernt hat, findet deutsche Fachbegriffe schlecht.
AnythingLLM und Open WebUI
Für Nicht-Entwickler ist AnythingLLM der kürzeste Weg zu einem Ordner voller PDFs: Installer für Mac und Windows, keine Docker-Kenntnisse nötig, Vektordatenbank (LanceDB) und Embedding-Modell sind eingebaut, pro „Workspace“ ein Thema, und die gefundenen Textstücke werden bei jeder Antwort angezeigt. Das Sprachmodell kann es selbst betreiben oder von LM Studio und Ollama beziehen.
Die Einschränkungen nennen Hersteller und Tester selbst: wenig Kontrolle über das Schneiden, das Embedding auf der CPU dauert etwa ein bis zwei Minuten pro 100 Seiten, Tabellen aus PDFs werden schlecht extrahiert.
Für Teams und Server ist Open WebUI die stärkere Variante, mit Hybridsuche, Reranking, OCR über Docling und Nutzerverwaltung. Es läuft im Docker-Container und hat seit Version 0.6.6 vom April 2025 eine Lizenzklausel, die ab 50 Nutzern das Branding schützt.
Zwei Einstellungen für deutsche Dokumente
Die erste ist das Embedding-Modell: AnythingLLM und Open WebUI starten mit all-MiniLM-L6-v2, einem winzigen, englisch trainierten Modell. Tausch es, bevor du das erste Dokument einliest, denn ein Wechsel später erzwingt das Neu-Einlesen von allem.
Der IT-Dienstleister WZ-IT hat im September 2026 Embedding-Modelle auf einem deutschen Retrieval-Benchmark verglichen: Qwen3-Embedding-4B 63,0, BGE-M3 57,6, EmbeddingGemma-300m 56,6, und das oft empfohlene multilingual-e5-large-instruct nur 43,4. Mein Standard ist ollama pull bge-m3 (1,2 GB, MIT-Lizenz, 8.000 Token Kontext); mit freiem Grafikspeicher nimmt man qwen3-embedding:4b.
Die zweite ist OCR, denn gescannte PDFs enthalten keinen Text, nur Bilder, und Tesseract braucht das Sprachpaket deu, sonst werden Umlaute und das scharfe S zu Zeichensalat. Open WebUI bindet dafür Docling ein, mit ocr_lang: ["deu"] in den Parametern.
Für Techniker: RAG in 30 Zeilen Python
Mit pip install langchain langchain-ollama langchain-chroma langchain-text-splitters chromadb "unstructured[pdf]" und einem laufenden Ollama:
from langchain_community.document_loaders import UnstructuredPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_ollama import OllamaEmbeddings, ChatOllama
from langchain_chroma import Chroma
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough
embeddings = OllamaEmbeddings(model="bge-m3")
db = Chroma(collection_name="firma", persist_directory="chroma",
embedding_function=embeddings)
docs = UnstructuredPDFLoader("angebot.pdf").load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1200, chunk_overlap=100)
db.add_documents(splitter.split_documents(docs))
llm = ChatOllama(model="gemma4:12b")
prompt = ChatPromptTemplate.from_template(
"Beantworte die Frage ausschliesslich mit diesem Kontext. "
"Wenn die Antwort nicht darin steht, sag das.\n\n"
"Kontext:\n{context}\n\nFrage: {question}")
chain = ({"context": db.as_retriever(search_kwargs={"k": 5}),
"question": RunnablePassthrough()}
| prompt | llm | StrOutputParser())
print(chain.invoke("Welche Zahlungsbedingungen stehen im Angebot?"))Der Satz „Wenn die Antwort nicht darin steht, sag das“ ist kein Schmuck. Ohne ihn ergänzt das Modell aus seinem eigenen Wissen, und genau daraus entstehen die Halluzinationen, über die sich alle beschweren. Dasselbe Skript läuft gegen LM Studio, wenn du den OpenAI-Client auf http://localhost:1234/v1 zeigen lässt.
Lokal heisst nicht harmlos
Die Datenschutzkonferenz hat am 17. Oktober 2025 eine Orientierungshilfe zu RAG veröffentlicht. Sie hält ausdrücklich fest, dass solche Systeme on-premise laufen können und die Übermittlung an die Betreiber grosser Sprachmodelle vermeiden, verlangt aber auch, dass Dokumente aus nicht vertrauenswürdigen Quellen draussen bleiben und dass es ein Rechte- und Rollenkonzept für die Vektordatenbank gibt.
Das BSI hat am 2. Oktober 2026 einen Leitfaden zu indirekter Prompt Injection nachgelegt: Angreifer verstecken Anweisungen in normal aussehenden PDFs, und das Modell führt sie aus. Wer ein RAG-System über einen Posteingang laufen lässt, sollte das gelesen haben, und wer nur eigene Dokumente einliest, ist schon deutlich sicherer unterwegs.
Für die Techniker: API, Editor, Automatisierung
Der eigentliche Grund, warum lokale Modelle 2026 mehr sind als ein Chatfenster: Jedes der genannten Tools spricht die OpenAI-API, und es gibt drei Adressen, die du dir merken solltest.
| Programm | Adresse | Hinweis |
|---|---|---|
| Ollama | http://localhost:11434/v1 | beliebiger API-Key, seit Januar 2026 auch im Anthropic-Format unter /v1/messages |
| LM Studio | http://localhost:1234/v1 | Server im Developer-Tab oder per lms server start starten |
| Jan | http://127.0.0.1:1337/v1 | Server in den Einstellungen unter „Local API Server“ starten |
Alles, was einen OpenAI-Endpunkt akzeptiert, akzeptiert damit dein Modell: Continue, Cline und Roo Code in VS Code, Obsidian über Copilot oder Smart Connections, Raycast, Home Assistant, n8n. Für n8n gibt es ein Self-hosted AI Starter Kit als Docker Compose mit Ollama, Qdrant und Postgres; auf dem Mac sollte Ollama dabei nativ laufen, weil Docker dort keine GPU bekommt, und n8n erreicht es über http://host.docker.internal:11434.
Das für mich spannendste Beispiel: Claude Code läuft seit Januar 2026 mit lokalen Modellen. Ollama ab Version 0.14, dann export ANTHROPIC_AUTH_TOKEN=ollama, export ANTHROPIC_BASE_URL=http://localhost:11434 und claude --model gpt-oss:20b.
Ollama empfiehlt dafür mindestens 32.000 Token Kontext, und die Qualität liegt erkennbar unter der des Originals. Für Refactoring in einem Repository, das niemals ein fremdes Rechenzentrum sehen darf, ist das trotzdem ein echter Weg, solange jemand den Code danach kritisch liest. Warum das wichtiger wird statt unwichtiger, steht in KI-Code kritisch prüfen.
MCP, das Model Context Protocol, ist in LM Studio, Jan, Open WebUI und der llama.cpp-Oberfläche angekommen. Damit bekommt das lokale Modell Werkzeuge: Dateien lesen, suchen, Datenbanken abfragen.
LM Studio schreibt in seine Dokumentation den Satz, den man ernst nehmen sollte: MCP-Server können beliebigen Code ausführen, lokale Dateien lesen und deine Netzwerkverbindung nutzen. Also nur aus Quellen installieren, denen du vertraust.
Wo lokal aufhört, und was es kostet
Die Kosten
ChatGPT Plus kostet in Deutschland mit Stand 1. November 2026 23 Euro im Monat, Claude Pro 21,42 Euro brutto, Claude Max 107,10 Euro, das neue Claude Ultra 214,20 Euro, Google AI Pro 21,99 Euro. Ein Power-User mit zwei Abos liegt schnell bei 500 bis 1.500 Euro im Jahr.
Strom für lokale Inferenz ist dagegen fast egal. Bei 37,3 Cent pro Kilowattstunde (BDEW, Oktober 2026) kostet ein Mac Studio unter Last etwa drei Cent pro Stunde, ein PC mit RTX 5090 etwa 20 bis 25 Cent; bei 500 Stunden im Jahr sind das 15 Euro gegen gut 100 Euro.
Der Kostenblock ist die Hardware, und die Rechnung geht nur auf, wenn du sie ohnehin hast oder mehrere Leute darauf arbeiten. Ein Mac mit 32 GB, den du sowieso besitzt, hat Grenzkosten nahe null. Ein Mac Studio für 2.999 Euro entspricht elf Jahren ChatGPT Plus oder gut zwei Jahren Claude Max.
Die Qualität, ehrlich
Macwelt hat im August 2026 auf einem Mac mini M4 mit 16 GB getestet. Qwen 2.5 7B lieferte bei deutschen E-Mail-Zusammenfassungen oberflächliche, redundante Ergebnisse, Gemma 4 12B war deutlich besser, brauchte aber mehrere Sekunden pro Zusammenfassung. Das Bildmodell Llava hielt einen Apple Store für eine Anwaltskanzlei, Whisper für Transkription nannte der Tester dagegen „eine tolle Lösung“.
Lokal funktioniert heute gut: Transkription, Zusammenfassen und Umformulieren mit Modellen ab 12 Milliarden Parametern, Klassifikation und Extraktion aus Dokumenten, Entwürfe, Coding-Hilfe mit 20- bis 30B-Modellen und RAG über eigene Unterlagen.
Nicht gut funktionieren mehrstufige Recherche (Ollama und LM Studio haben keinen Webzugriff, solange du keine Werkzeuge anschliesst), aktuelles Wissen, anspruchsvolle deutsche Stilistik mit 7B-Modellen, Bildverständnis ohne Nachkontrolle und alles, was ein 70B-Modell auf 16 GB Speicher verlangt.
Das stärkste Argument heisst Kontrolle
Bei ChatGPT, Claude und Gemini musst du in den Privatkunden-Tarifen selbst abschalten, dass deine Chats fürs Training genutzt werden. Bei Gemini liest eine Teilmenge der Gespräche ein menschlicher Prüfer, und geprüfte Gespräche bleiben bis zu drei Jahre gespeichert. Die Business-Tarife trainieren nicht und bieten EU-Datenresidenz, OpenAI seit Februar 2025. Lokal entfällt diese ganze Diskussion von vornherein.
Für Berufsgeheimnisträger ist das der Kern. Paragraf 203 StGB erlaubt die Weitergabe an „sonstige mitwirkende Personen“ nur unter Verpflichtung zur Verschwiegenheit, bei Steuerberatern verlangt Paragraf 62a StBerG dafür Textform und bei Anbietern ausserhalb der EU ein vergleichbares Schutzniveau. Läuft das Modell auf dem eigenen Rechner, gibt es niemanden, dem etwas offenbart wird.
Ich bin kein Jurist, aber die Datenschutzkonferenz schreibt in ihrer Orientierungshilfe zu KI-Systemen vom Juni 2025 selbst, dass die lokale Verarbeitung auf dem Endgerät beim Fine-Tuning zu bevorzugen ist und dass je nach Risiko eine Verarbeitung nur auf eigener Infrastruktur in Frage kommt. Gegenlesen bleibt trotzdem Pflicht, und zwar richtig, nicht als Klick auf Okay; mehr dazu in Human in the Loop heisst zu oft nur: jemand klickt auf Okay.
Der Mittelweg für den Mittelstand
Bitkom hat im September 2026 603 Unternehmen ab 20 Mitarbeitern befragt. 57 Prozent nutzen KI, fast dreimal so viele wie 2024. 66 Prozent der Nutzer nennen Datenschutzanforderungen als Hürde, 45 Prozent fürchten, dass Firmendaten in falsche Hände geraten, und 51 Prozent sehen die Infrastruktur als grossen Kostenblock, aber nur 8 Prozent den Token-Verbrauch.
Diese Zahlen sagen mir zweierlei: Der Bedarf an eigener Kontrolle ist da, und der Weg dorthin muss keine eigene GPU-Farm sein. Es gibt 2026 einen Mittelweg, der vor zwei Jahren nicht existierte, nämlich dieselben offenen Modelle bei einem deutschen Hoster.
IONOS rechnet gpt-oss-120b mit 0,15 Euro pro Million Token Eingabe und 0,65 Euro Ausgabe ab, STACKIT von Schwarz Digits bietet Gemma 4 31B und Qwen3.8 27B aus Deutschland, mittwald hat Pakete ab 9 Euro im Monat, T-Systems betreibt die offenen Modelle in der T-Cloud. Das ist ein Bruchteil des GPT-5.5-Preises von 5 Dollar Eingabe und 30 Dollar Ausgabe pro Million Token, mit Auftragsverarbeitungsvertrag bei einem deutschen Vertragspartner.
Wenn ich als Digitaler Beirat in einem Gremium sitze, ist das inzwischen eine meiner ersten Fragen: Welche Daten dürfen das Haus verlassen, und wer hat das entschieden?
Mein Rat für die Geschäftsführung: Einzelne Power-User mit sensiblen Daten bekommen einen Rechner mit 32 GB und ein 12- bis 30B-Modell. Sobald ein Team darauf arbeiten soll, RAG über Firmendokumente mit Rollenkonzept braucht oder Modelle ab 70 Milliarden Parametern, entscheidet man zwischen einem eigenen Server mit Open WebUI und dem deutschen Hoster.
Ein lokal getestetes Modell lässt sich eins zu eins dorthin verschieben; das ist der Teil von Souveränität, den man 2026 tatsächlich kaufen kann, ohne Aufpreis. Bei CTRL+ALT+LEAD nennen wir diese Phase „Build your system“: Prozesse, Daten, Werkzeuge und Rollen in einem Betriebssystem zusammenbringen, statt das dritte Tool-Abo zu bestellen. Wie so ein Zielbild als Ganzes aussieht, steht in Das KI-Zielbild komplett.
Unterm Strich
| Deine Ausgangslage | Womit du anfängst |
|---|---|
| Mac mit Apple Silicon und 16 GB | LM Studio, Gemma 4 12B in der MLX-Variante, Kontext auf 16.000, ein PDF anhängen |
| Windows mit NVIDIA-Karte | LM Studio oder Ollama, Gemma 4 12B, Kontextlänge hochsetzen |
| Alter Laptop ohne Grafikkarte | Gemma 4 E4B oder Qwen3.5 4B, Erwartung auf „erstaunlich brauchbar“ statt „wie ChatGPT“ |
| Ordner voller Dokumente | AnythingLLM, Embedding auf bge-m3 umstellen, bevor du einliest |
| Entwickler | Ollama auf Port 11434, dann Continue oder Claude Code dranhängen |
Das sind zwanzig Minuten, und danach weisst du mehr über lokale KI-Modelle als nach zwanzig LinkedIn-Posts.
Mein eigenes Setup ist unspektakulär: ein Mac, LM Studio, meistens Gemma 4 12B, für längere Dokumente Qwen3.6-35B-A3B, und Whisper für Transkripte. Die Cloud-Modelle nutze ich weiter, jeden Tag, für alles, was Recherche braucht oder wo die letzten zehn Prozent Qualität zählen. Aber die Frage „Darf dieses Dokument das Haus verlassen?“ stellt sich für mich anders, seit die Antwort auf meinem Schreibtisch steht.
Quellen (Stand 8. November 2026): Bitkom, Digital-Gipfel, 2.11.2026, Bitkom, KI-Nutzung, 14.9.2026, Bitkom, KI aus China, 9.9.2026, Epoch AI, Open-Closed-Lücke, 29.5.2026, Epoch AI, Consumer-GPU-Modelle, 9.9.2025, Artificial Analysis, Open Weights, 30.4.2026, Artificial Analysis, Muse Glimmer, llama.cpp Apple-Silicon-Benchmarks, Hardware Corner, RTX 5090, Strix-Halo-Benchmarks, Macwelt, KI lokal auf dem Mac, 22.8.2026, Macwelt, Mac Studio M5 Max, 22.9.2026, PC Games Hardware, RTX-5090-Preis, 10.9.2026, Notebookcheck, Framework Desktop, 13.1.2026, Borncity, RTX 3090 gebraucht, 14.3.2026, LM Studio, Systemanforderungen, LM Studio, Chat with Documents, LM Studio, OpenAI-Kompatibilität, LM Studio, MCP, LM Studio, frei für die Arbeit, 8.7.2025, Ollama, Kontextlänge, Ollama, Windows, Ollama, Linux, Ollama, OpenAI-Kompatibilität, Ollama, Claude Code, 16.1.2026, Ollama, GGUF und Vulkan, 5.6.2026, Ollama, gemma4-Tags, Jan, Changelog, Open WebUI, Lizenz, Open WebUI, Knowledge, AnythingLLM, eingebauter Embedder, WZ-IT, Embedding-Modelle für Deutsch, 16.9.2026, WZ-IT, europäische LLM-APIs, 18.9.2026, 9to5Google, Gemma 4, 2.4.2026, DataCamp, Muse Glimmer, IntuitionLabs, Open-Weight-Lizenzen, 5.9.2026, The New Stack, OSAID, Soofi, Pressemitteilung, 17.6.2026, DSK, Orientierungshilfe RAG, 17.10.2025, DSK, Orientierungshilfe KI-Systeme, Juni 2025, BSI-Leitfaden Prompt Injection via Borncity, 3.10.2026, Google, Gemini Apps Privacy Hub, OpenAI, Datenresidenz in Europa, Notebookcheck, KI-Abo-Preise, 2.11.2026, BDEW-Strompreisanalyse, Oktober 2026, glukhov.org, 16-GB-GPU-Test, It’s FOSS, RAG mit Ollama und LangChain, skill-sprinters, Mac mini M4 16 GB, 10.5.2026.
