Lokale KI mit Ollama — Interaktive Demo

LEI NING Lokale KI mit Ollama / Interaktive Demo
Bei Ihnen im Haus — nicht in einer Cloud · 0 € Tokenkosten
PoC im Kundennetz

Lokale KI, die nicht das Haus verlässt.

Drei Blicke auf einen lokalen Ollama-Dienst: die laufende Unterhaltung im eigenen Netz, die passende Hardware für Ihr Modell und die Härtung, ohne die „lokal“ nicht automatisch sicher ist.

Demo-HinweisSimulierte Ausgaben. Es wird kein echtes Modell geladen und keine Anfrage versendet — Antworten, Metriken und Prüfungen dienen der Veranschaulichung.

Chat im Kundennetz

Ollama-Dienst auf localhost:11434 · Daten bleiben im Netzwerk

Lokal: Prompt und Antwort verlassen das Unternehmen nicht. Kein Token an einen Cloud-Anbieter.
Lokal bereit. Modell: qwen2.5:14b. Was möchten Sie wissen?

Laufzeit-Metriken

Gemessen während der Antwortgenerierung

–
Tokens/s
–
erstes Token
0 €
Tokenkosten
CPU/GPU-Split wird nach der Antwort angezeigt. Ein hoher CPU-Anteil ist ein Befund: kleineres Modell oder stärkere Quantisierung wählen.

Warum lokal?

Die drei Gründe aus dem PoC

Souverän Dokumente und Prompts bleiben im eigenen Netz.
Planbar Festpreis, kein Abonnement, keine variablen Tokenkosten.
Integrierbar Per REST, Spring AI oder LangChain4j an bestehende Systeme.

Welches Modell auf welcher Maschine?

Wählen Sie ein Modell und geben Sie Ihre vorhandene Hardware an — die Demo zeigt den Sizing-Befund.

7–8B (Qwen, Llama, Mistral)~8 GB RAM
Einsteigerklasse · gut für erste PoCs und klassische Chat-Aufgaben.
13–14B (Qwen, Phi)16 GB RAM · 12 GB VRAM
Der beste Kompromiss aus Qualität und Aufwand.
32B (Qwen, CodeLlama)32 GB RAM · 24 GB VRAM
Antwortgüte nahe an kommerziellen Modellen.
70B64 GB RAM oder 2×24 GB VRAM
Nur für Batch, nicht für interaktive Nutzung.

Ihre Hardware

Verfügbaren Arbeitsspeicher einstellen

Befund

Sizing-Einschätzung für das gewählte Modell

0 / 6
Härtungsmaßnahmen aktiv — abhaken, was in Ihrem Betrieb umgesetzt ist.

Meine Härtungs-Checkliste

Lokal ist nicht automatisch sicher. Jede Maßnahme einzeln prüfen.

Basis für lokales RAG

Embedding-Modelle, die im selben Netz liegen wie der Chat

nomic-embed-text
Vernünftige Wahl für den Anfang. MTEB 62,28.
qwen3-embedding
Für gemischtsprachige Bestände. MTEB 69,45 / 70,58.
bge-m3
Mehrsprachige Embeddings, lokal betreibbar.
Lei Ning · Senior IT Consultant · Hardware-Sizing, Modell-Auswahl, Sicherheitshärtung und Betriebsübergabe im Kundennetz · www.nings.eu
Header anzeigen