Lokale KI mit Ollama — bei Ihnen im Haus, nicht in einer Cloud.
Ein Proof of Concept in zehn Werktagen: ein lokales Sprachmodell auf Ihrer eigenen Hardware, das Ihre echten Dokumente verarbeitet, ohne dass ein Prompt das Haus verlässt. Inklusive Modell-Auswahl, Hardware-Sizing, Sicherheitshärtung und einer Betriebsübergabe an Ihr Team. Festpreis, kein Abonnement, keine Tokenkosten.

- Ergebnis
- Lauffähiger PoCAuf Ihren echten Dokumenten
- Dauer
- 10 WerktageZwei Kalenderwochen
- Betrieb
- Im KundennetzKein Datenabfluss
- Kosten
- 0 € TokenkostenStatt API-Gebühren pro Abfrage
- Übergabe
- An Ihr TeamMit Betriebskonzept
Ein PoC, der in Ihrem Netz läuft — nicht in einer Cloud
Zehn Werktage, ein fester Preis, ein lauffähiges System auf Ihrer Hardware und ein Team, das es danach ohne mich weiter betreibt.
Hardware-Sizing und Modell-Auswahl
Welches Modell passt auf Ihre vorhandene Hardware — und welches nicht. Die Entscheidung fällt an der Formel, nicht an der Vermutung: rund 0,6 GB Speicher je Milliarde Parameter bei der Standard-Quantisierung, plus Kontextpuffer.
- Bestandsaufnahme von CPU, RAM, GPU und freiem Plattenplatz
- Berechnung der benötigten Kapazität für Ihr konkretes Modell
- Entscheidung: 7–8B, 13–14B, 32B oder ein Mixture-of-Experts-Modell
- Prüfung, ob das Modell vollständig in den Grafikspeicher passt
Installation und Betrieb im Kundennetz
Ollama läuft als Dienst auf Ihrer eigenen Maschine. Ich richte ihn so ein, dass er erreichbar ist — und ausschließlich von den Hosts, die ihn brauchen.
- Installation als systemd-Dienst mit eigenem Benutzerkonto auf Linux
- Port 11434 bleibt an localhost gebunden; Firewall-Regeln gesetzt
- Modellverzeichnis nur für den Dienstbenutzer schreibbar
- Abgleich mit Ihrer vorhandenen Container- und Virtualisierungsumgebung
Modell-Auswahl und Benchmark
Vier Modelle werden gegeneinander gemessen — nicht nach Benchmark-Ranglisten, sondern an Ihren Dokumenten und Ihren Fragen. Am Ende steht eine begründete Empfehlung mit Zahlen.
- Vier Kandidaten aus Qwen, Llama, Mistral, DeepSeek und Gemma
- Laufzeitmessung: Tokens pro Sekunde, Zeit bis zum ersten Token
- Antwortgüte an Ihren realen Fragestellungen, nicht an Demo-Fragen
- Entscheidung dokumentiert, inklusive der Fälle, in denen ein Cloud-Modell besser wäre
Abnahme, Härtung und Übergabe
Am Ende steht ein lauffähiges System, das einer Prüfung standhält — und ein Team, das es ohne mich weiter betreiben kann.
- Anbindung an Ihre Systeme per REST, Spring AI oder LangChain4j
- Authentifizierung, Rate-Limits und Audit-Protokoll vor dem Dienst
- Betriebskonzept, Update-Prozess und Wiederherstellungsszenario
- Schulung Ihrer Multiplikatoren mit Übergabedokumentation
bis zum lauffähigen Proof of Concept — inklusive Hardware-Sizing und Benchmark auf Ihren Dokumenten.
Tokenkosten pro Abfrage bei lokal betriebenen Modellen — statt nutzungsabhängiger API-Gebühren.
Prompts, die das Haus verlassen — bei lokalem Betrieb ohne Cloud-Funktionen.
Welches Modell auf welcher Maschine
Die Hardware-Entscheidung ist eine Rechenaufgabe, keine Geschmacksfrage. Diese Tabelle ist der Ausgangspunkt für Ihre eigene Planung.
| Modellklasse | Speicherbedarf | Empfohlene Ausstattung |
|---|---|---|
| 7–8B (Qwen, Llama, Mistral) | 4,5–6 GB | 8 GB RAM, 6–8 GB VRAM; passt, lässt aber kaum Platz für Kontext |
| 13–14B (Qwen, Phi) | 7–9 GB | 16 GB RAM, 12 GB VRAM; der beste Kompromiss aus Qualität und Aufwand |
| 32B (Qwen, CodeLlama) | 16–20 GB | 32 GB RAM, 24 GB VRAM; Antwortgüte nahe an kommerziellen Modellen |
| 70B (Llama, Qwen 2.5) | 40–43 GB | 64 GB RAM oder 2× 24 GB VRAM; nur für Batch, nicht für interaktive Nutzung |
| Mixture-of-Experts | wie Gesamtparameter | Alle Expertengewichte müssen geladen werden, auch wenn pro Token nur wenige aktiv sind — ein 26B-A4B-Modell belegt 18 GB, nicht 4 GB |
Lokal ist nicht automatisch sicher
Daten bleiben im Haus — wenn die Betriebsregeln stimmen. Diese vier Punkte sind der Unterschied zwischen einem sicheren Betrieb und einer offenen Tür.
Der Dienst hat keine eigene Authentifizierung.
Ollamas lokale API prüft keine Identität. Wer sie ohne vorgeschaltete Schicht freigibt, öffnet nicht nur einen Chat, sondern das Modell samt Ihrer Dokumente. Authentifizierung muss davor stehen — als Reverse Proxy mit Schlüsselprüfung oder als Gateway mit Mandantenfähigkeit.
Port 11434 gehört nie ins Internet.
Der Dienst bindet standardmäßig nur an localhost. Ein Scan im Januar 2026 fand rund 175.000 öffentlich erreichbare Ollama-Instanzen in 130 Ländern — jedes einzelne eine offene Tür in den Datenbestand des jeweiligen Betreibers.
Updates sind Pflicht, nicht Optional.
Im Mai 2026 wurde CVE-2026-7482 („Bleeding Llama“) bekannt — eine unauthentifizierte Memory-Lücke mit dem Höchstwert 9,1, betroffen waren Versionen vor 0.17.1. Der Fix kam, wurde im Release-Vermerk aber nicht als Sicherheitspatch gekennzeichnet. Versionsstände gehören in Ihre Betriebsdokumentation.
Cloud-Funktionen gehören abgeschaltet.
Wer ausschließlich lokal arbeiten will, setzt OLLAMA_NO_CLOUD=1. Sonst können Cloud-Modelle und die Websuche aktiviert sein, ohne dass es jemand bemerkt. Auf geteilten Servern wird zusätzlich kein Konto angemeldet.
Meine Härtungs-Checkliste
- Standardbindung behalten: OLLAMA_HOST unset, Port 11434 nur lokal
- Aktuelle Version einspielen — vor jedem Upgrade die eigene Versionsliste prüfen
- Authentifizierender Proxy oder Gateway vor jedem geteilten Dienst
- Firewall: Port 11434 nur von den Hosts freigeben, die ihn brauchen
- Eigener unprivilegierter Benutzer mit eigener Gruppe; Modellverzeichnis nur für ihn schreibbar
- OLLAMA_NO_CLOUD=1, kein ollama signin auf geteilten Servern
- Modell-Lizenzen protokollieren, Herkunft der Gewichte dokumentieren
- Server-Log auswerten und Alarmierung bei ungewöhnlichen Anfragen einrichten
Was der Betrieb zusätzlich braucht
Die lokale API kennt keine Benutzer, keine Budgets und keinen Prüfpfad. Wenn mehrere Teams dieselbe Instanz nutzen, müssen diese Kontrollen davor liegen — als Gateway mit Mandantenschlüsseln, Token-Limits und protokollierten Anfragen.
Für die Datenschutz-Bewertung gilt: Die wirksamen Kontrollen sitzen unterhalb des Modells — TLS im Transport, Verschlüsselung im Ruhezustand, Zugriffsprotokollierung, MFA auf dem Zugangsweg und eine dokumentierte Löschfrist. Das Modell ist nicht derOrt, an dem Compliance entsteht.
Die Basis für lokales RAG
Für den Wissensassistenten auf eigenen Dokumenten brauchen Sie neben dem Chatmodell ein Embedding-Modell. Die Auswahl entscheidet über die Abrufqualigkeit.
nomic-embed-text
137 Mio. Parameter, 768 Dimensionen, 274 MB auf der Platte, 8.192 Token Kontext — das meistgenutzte Embedding-Modell auf Ollama. Läuft auf jeder Maschine, auch ohne Grafikkarte. Für deutschsprachige Bestände ist es die konservative Ausgangswahl.
qwen3-embedding
In drei Größen ab 0,6B bis 8B, 32K Kontext, unterstützt variable Ausgabedimensionen von 32 bis 4.096. Die 4B-Variante ist der Mittelweg für gemischtsprachige Bestände. Achtung bei mehrsprachigen Korpora: Die Anweisungen für Einbettung sollten auf Englisch formuliert werden.
bge-m3
568 Mio. Parameter, 1.024 Dimensionen, rund 1,2 GB. Vereint dichte und sparse Suche sowie Mehrfachvektoren in einem Modell — sinnvoll, wenn Fachvokabular über genaue Worthilfe zu finden ist.
Zehn Werktage bis zur Übergabe
Jede Woche liefert ein prüfbares Ergebnis. Fällt ein Ergebnis aus, ist die Entscheidung gegen die lokale KI günstiger als der weitere Ausbau.
Bestandsaufnahme
Hardware, Betriebssystem, vorhandene Container-Umgebung, Netzbereiche und die Frage, welche Dokumente überhaupt verarbeitet werden sollen. Ohne diese Grundlage ist jede Hardware-Empfehlung Spekulation.
Modell-Auswahl
Vier Kandidaten auf Ihrer Hardware, gegeneinander gemessen an Ihren Dokumenten und Ihren Fragen. Festgehalten wird die Empfehlung mit Zahlen — einschließlich der Fälle, in denen ein Cloud-Modell besser abschneidet.
Installation und Integration
Ollama als Dienst im Kundennetz, gehärtet, mit Authentifizierung davor. Anbindung an Ihre Systeme — Spring AI, LangChain4j oder direkt per REST, passend zu dem, was bei Ihnen schon läuft.
Abnahme und Übergabe
Benchmark-Report, Betriebskonzept, Update-Prozess, Wiederherstellungsszenario und die Schulung Ihrer Multiplikatoren. Am Ende steht ein Team, das das System ohne mich weiter betreibt.
Wann dieser Baustein passt — und wann nicht
Lokale Modelle sind nicht für jedes Problem die richtige Antwort. Diese Übersicht verhindert, dass Sie das falsche Angebot buchen.
Was dieser Baustein abdeckt
- Proof of Concept in 10 Werktagen auf Ihrer eigenen Hardware
- Hardware-Sizing, Modell-Auswahl und Benchmark an Ihren Dokumenten
- Installation, Härtung und Betrieb im Kundennetz
- Anbindung an Ihre Systeme und lokale Embeddings für RAG
- Betriebskonzept, Update-Prozess und Übergabe an Ihr Team
Wann ein anderes Angebot passt
- Wenn noch offen ist, wo KI überhaupt rechnet — zuerst die KI-Transformation
- Wenn Ihr Wissen vorhanden ist, aber niemand findet oder fragen darf — zuerst RAG
- Wenn Ihre Daten in einer Cloud liegen sollen statt im Haus — dann Copilot oder Gemini
- Wenn ein Altsystem trägt oder eine Cloud-Frist abläuft — zuerst Enterprise Java & Cloud
- Wenn 0 € Tokenkosten kein Argument sind, weil der Betriebszuschlag größer ist als die API-Rechnung
Was in den ersten Gesprächen immer gestellt wird
Die Fragen, die in nahezu jedem Erstgespräch zu diesem Thema fallen — hier vorab beantwortet.
Was bekommen Sie nach zehn Werktagen?
Ein lauffähiges System auf Ihrer Hardware, das Ihre echten Dokumente verarbeitet, sowie einen Benchmark-Report mit den gemessenen Werten, ein Betriebskonzept und ein vollständiges Compliance-Paket. Die Abnahmekriterien stehen am ersten Tag fest und sind schriftlich fixiert. Festpreis, kein Abonnement.
Welche Modelle kommen in Frage?
Im Rennen sind typischerweise Qwen, Llama, Mistral, DeepSeek und Gemma — je nach Aufgabenbereich. Ich starte mit vier Kandidaten, die auf Ihre Hardware passen, und messe an Ihren Daten. Nicht nach Platz in einer Rangliste, sondern nach dem Ergebnis auf Ihren Dokumenten. Auch ein Mixture-of-Experts-Modell ist eine Option, wenn Ihr Bestand mehrere Fachsprachen oder stark gewichtete Themen enthält.
Reicht meine vorhandene Hardware?
Das steht in Woche 0 fest. Für ein 7–8B-Modell genügen 8 GB RAM, für 13–14B sind 16 GB der vernünftige Anfang, für 32B brauchen Sie 32 GB RAM und 24 GB Grafikspeicher. Ein 70B-Modell passt nur in 64 GB RAM oder auf zwei 24-GB-Karten. Entscheidend ist, dass das Modell vollständig in den Grafikspeicher passt — sonst lagert Ollama auf die CPU aus und wird spürbar langsamer.
Wie halten wir das sicher?
Der Dienst bindet standardmäßig nur an localhost, läuft unter einem eigenen unprivilegierten Benutzerkonto, und davor steht ein authentifizierender Proxy mit Rate-Limits und Audit-Protokoll. Cloud-Funktionen werden abgeschaltet, damit nichts ungefragt nach außen geht. Die Härtungs-Checkliste in Abschnitt 03 ist Teil des Betriebskonzepts.
Können wir damit ein RAG-System bauen?
Ja, und das ist der häufigste Einsatzzweck. Ollama liefert die Embeddings, das Chatmodell die Antwort, die Vektordatenbank liegt im selben Netz. Für den Anfang ist nomic-embed-text die vernünftige Wahl; für gemischtsprachige Bestände qwen3-embedding. Der Aufbau des RAG-Systems selbst ist ein eigener Baustein — hier lege ich die lokale Infrastruktur und die Schnittstelle.
Was passiert, wenn das Modell nicht gut genug ist?
Dann sage ich Ihnen das am Ende des PoC — mit Zahlen. Der Auftrag ist eine belastbare Entscheidung, kein Vertrauensvorschuss. Oft liegt das Problem nicht am Modell, sondern an der Datenqualität oder am Kontextfenster. In manchen Fällen ist die ehrliche Antwort: Für diesen Anwendungsfall brauchen Sie ein Cloud-Modell. Dann bekommen Sie das so gesagt — mit der Rechnung dahinter.
Wie läuft das mit Updates und Modellwechsel?
Beides ist Teil des Betriebskonzepts: welche Version läuft, wie Updates eingespielt werden, wie ein Modellwechsel mit vertretbarem Aufwand vorbereitet ist und wie im Fehlerfall zurückgerollt wird. Ein Betrieb ohne Update-Prozess ist kein Betrieb, sondern ein Zustand.
Jede Zahl ist belegbar
Diese Seite nennt keine ungeprüften Markt- oder Performance-Zahlen.
Quellen und Prüfgrundlage
- Ollama-Projekt: Release Notes zur Version 0.34.2 vom 15.09.2026; offizielle Dokumentation zu Installation, systemd-Dienst, Standardbindung, OLLAMA_NO_CLOUD, API-Kompatibilität und Modellverzeichnis; MIT-Lizenz des Projekts.
- Ollama Model Library (ollama.com): Embedding-Modelle mit Größen und Download-Volumen; Qwen3-Embedding-Modellkarte zu Kontextlänge, Matryoshka-Dimensionen und Sprachunterstützung.
- VRAM-Berechnung: Formel aus Parametern, Quantisierungsbreite und 1,2-Faktor plus 2 GB Betriebssystem, gegengeprüft gegen die Modellbibliothek; Modelldateigrößen abgerufen am 03.10.2026.
- CVE-2026-7482 („Bleeding Llama“), CVSS 9.1, betroffen Versionen vor 0.17.1; Scanergebnis von rund 175.000 öffentlich erreichbaren Ollama-Instanzen in 130 Ländern, Januar 2026; Sicherheitshinweise der Hersteller zur Standardbindung und zum fehlenden Port-Forwarding.
- Projekt-Dokumentation zu Embedding-Modellen: MTEB-Werte (nomic-embed-text 62,28; qwen3-embedding:4b 69,45; :8b 70,58), Kontextfenster und Vektor-Dimensionen.
Läuft Ihre Hardware dafür, oder brauchen Sie neue?
In einem unverbindlichen Erstgespräch rechnen wir aus, welches Modell auf Ihrer vorhandenen Maschine läuft — und ob sich der Betrieb gegenüber einer Cloud-API überhaupt rechnet. Sie bekommen eine begründete Antwort, auch wenn sie lautet: nicht lokal.
Erstgespräch anfragen- Kontakt
- Lei NingSenior IT Consultant · Java · AI Engineering
- lei.ning@nings.eu
- Telefon
- +49 176 2351 4012
- Web
- www.nings.eu
- Standort
- Offenburg, Baden-WürttembergEinsatz deutschlandweit, vor Ort oder remote
