LEI NING Lokale KI mit Ollama / Interaktive Demo
Bei Ihnen im Haus — nicht in einer Cloud · 0 € Tokenkosten
PoC im Kundennetz
Lokale KI, die nicht das Haus verlässt.
Drei Blicke auf einen lokalen Ollama-Dienst: die laufende Unterhaltung im eigenen Netz, die passende Hardware für Ihr Modell und die Härtung, ohne die „lokal“ nicht automatisch sicher ist.
Demo-HinweisSimulierte Ausgaben. Es wird kein echtes Modell geladen und keine Anfrage versendet — Antworten, Metriken und Prüfungen dienen der Veranschaulichung.
Chat im Kundennetz
Ollama-Dienst auf localhost:11434 · Daten bleiben im Netzwerk
Lokal bereit. Modell: qwen2.5:14b. Was möchten Sie wissen?
Laufzeit-Metriken
Gemessen während der Antwortgenerierung
–
Tokens/s
–
erstes Token
0 €
Tokenkosten
CPU/GPU-Split wird nach der Antwort angezeigt. Ein hoher CPU-Anteil ist ein Befund: kleineres Modell oder stärkere Quantisierung wählen.
Warum lokal?
Die drei Gründe aus dem PoC
Souverän Dokumente und Prompts bleiben im eigenen Netz.
Planbar Festpreis, kein Abonnement, keine variablen Tokenkosten.
Integrierbar Per REST, Spring AI oder LangChain4j an bestehende Systeme.
Welches Modell auf welcher Maschine?
Wählen Sie ein Modell und geben Sie Ihre vorhandene Hardware an — die Demo zeigt den Sizing-Befund.
7–8B (Qwen, Llama, Mistral)~8 GB RAM
Einsteigerklasse · gut für erste PoCs und klassische Chat-Aufgaben.
13–14B (Qwen, Phi)16 GB RAM · 12 GB VRAM
Der beste Kompromiss aus Qualität und Aufwand.
32B (Qwen, CodeLlama)32 GB RAM · 24 GB VRAM
Antwortgüte nahe an kommerziellen Modellen.
70B64 GB RAM oder 2×24 GB VRAM
Nur für Batch, nicht für interaktive Nutzung.
Ihre Hardware
Verfügbaren Arbeitsspeicher einstellen
Befund
Sizing-Einschätzung für das gewählte Modell
0 / 6
Härtungsmaßnahmen aktiv — abhaken, was in Ihrem Betrieb umgesetzt ist.
Meine Härtungs-Checkliste
Lokal ist nicht automatisch sicher. Jede Maßnahme einzeln prüfen.
Basis für lokales RAG
Embedding-Modelle, die im selben Netz liegen wie der Chat
nomic-embed-text
Vernünftige Wahl für den Anfang. MTEB 62,28.
qwen3-embedding
Für gemischtsprachige Bestände. MTEB 69,45 / 70,58.
bge-m3
Mehrsprachige Embeddings, lokal betreibbar.
Lei Ning · Senior IT Consultant · Hardware-Sizing, Modell-Auswahl, Sicherheitshärtung und Betriebsübergabe im Kundennetz · www.nings.eu
Header anzeigen
