Ein Assistent, der Ihre Dokumente kennt — und sagt, wo es steht.
Ich baue Retrieval-Augmented-Generation-Lösungen für Unternehmen mit 50 bis 500 Beschäftigten. Auf Ihren Handbüchern, Verträgen und Prozessdokumenten. In Ihrer Rechtsordnung. Mit einer gemessenen Zahl am Ende des Piloten.
- Für wen
- 50–500 BeschäftigteDokumentlastige Prozesse
- Ergebnis
- Quellenbelegte AntwortenAuf Ihre eigenen Dokumente
- Einstieg
- 2 Wochen AnalyseFestpreis, jederzeit aussteigbar
- Pilot
- 8 Wochen10–15 echte Nutzende
- Betrieb
- On-Premise / EUOder dedizierte EU-Instanz
Vier Situationen, in denen sich das rechnet
RAG ist kein Selbstzweck. Es lohnt sich dort, wo eine Frage heute Zeit kostet, morgen wieder gestellt wird und die Antwort von der richtigen Dokumentversion abhängt.
Die Kollegin, die es weiß, geht in Rente.
Dreißig Jahre Erfahrung, verteilt auf Ordner, E-Mails und einen Kopf. Wenn der Kopf geht, geht das Wissen mit — es sei denn, es steht vorher in einer Form, die abfragbar ist.
Die Antwort hängt an der richtigen Revision.
Zwei Handbuchstände im Umlauf, eine Zeichnung von 2019, eine Freigabe per E-Mail. Die Volltextsuche findet alle vier und sagt nicht, welche gilt.
Die Fachabteilung fragt die IT — und die fragt niemanden.
Weil jede Auskunft drei Tage dauert, entstehen Schattenlösungen: private Notizen, lokale Kopien, Zuruf. Das ist kein Disziplinproblem, sondern ein Zugriffsproblem.
Die Ausschreibung ist am Freitag fällig.
Zertifikat, Referenzprojekt und freigegebener Standardtext liegen vor — irgendwo. Zwei Tage Suchen für eine Antwort, die danach niemand wiederfindet.
pro Beschäftigten und Arbeitstag für das Suchen und Zusammenholen interner Informationen.
McKinsey Global Institute
der KI-nutzenden Unternehmen in Deutschland setzen KI bereits für Text- und Dokumentanalyse ein.
Destatis, 2025
Genauigkeit im Benchmark für einen Hybridansatz aus RAG und Fine-Tuning — gegenüber 75 % beim Basismodell.
arXiv:2505.04847
Vier Bausteine — einzeln buchbar, in dieser Reihenfolge sinnvoll
Kein Rahmenvertrag, kein Abo. Sie entscheiden nach jedem Baustein neu, ob der nächste folgt. Jeder Baustein hat ein definiertes Ergebnis, das Sie behalten, auch wenn Sie danach mit jemand anderem weiterarbeiten.
Analyse & Machbarkeit
- Inventur der Dokumentlandschaft: Bestände, Formate, Rechte, Versionen
- Bewertung von fünf bis acht Anwendungsfällen nach Wert und Machbarkeit
- Betriebsstufe und Rechtsgrundlage grob festgelegt
- Aufwand, Kosten und Amortisation für die zwei stärksten Fälle
Pilot
- Scoping, Zugriffskonzept und Testset mit echten Fragen aus dem Fachbereich
- Einlesen, Indizieren, Retrieval, Antwortschicht, Oberfläche
- Betrieb mit 10–15 benannten Nutzenden, wöchentliches Feedback
- Genauigkeit gemessen am Testset, Kosten pro Abfrage gemessen
Rollout & Betrieb
- Skalierung auf weitere Bereiche und Dokumentbestände
- Anbindung an DMS, SharePoint, ERP oder Ticketsystem
- Monitoring, Kostenalarme, Rechte-Audit, Update-Prozess
- Übergabe an Ihr Team mit Runbook und Betriebshandbuch
Befähigung & Schulung
- Technische Schulung: Index pflegen, Dokumente aktualisieren, Qualität messen
- Fachbereich: gute Fragen stellen, Antworten prüfen, Grenzen erkennen
- Briefing für Datenschutz und Betriebsrat: was protokolliert wird und was nicht
Was technisch dahintersteht
Fünf Schritte, alle auf Ihrer Seite der Grenze. Das Sprachmodell sieht nur die Textabschnitte, die zu Ihrer Frage passen — nicht Ihre Datenbank und nicht Ihr Laufwerk.
Dokumente
PDF, Office, gescannte Papierakten, Tickets, Wiki, Freigaben.
Aufbereitung
Text, Tabellen und Seitenverweise extrahieren; Versionen erkennen.
Vektorindex
Bedeutung statt Stichwort. Aktualisiert sich bei jeder neuen Version.
Retrieval
Die 5–10 relevantesten Abschnitte — nach Ihren Zugriffsrechten gefiltert.
Antwort
Nur aus diesen Abschnitten, mit Dokument, Seite und Revisionsdatum.
Acht Wochen, vier Phasen, vier Tore
Jede Phase endet mit einem prüfbaren Kriterium. Fällt ein Tor, wird nicht weitergebaut — dann ist die Entscheidung günstiger als der Prototyp.
Scoping & Dateninventur
Welche drei Bestände, wem gehören sie, was darf das System sehen. Betriebsrat wird eingeladen, nicht informiert.
Technisches Fundament
Betriebsstufe gewählt, ein Bestand eingelesen und indiziert, Zugriffskonzept festgelegt, Testset gebaut.
Pilot mit 10–15 Nutzenden
Echte Arbeit statt Demo. Feedbackprotokoll, Genauigkeit gemessen, Kosten pro Abfrage erhoben.
Auswertung & Entscheidung
Gesparte Zeit, Fehlerbilder, Skalierungsplan, Betriebskosten. Entscheidung bei Ihnen.
Der Teil, der in Deutschland über Go oder No-Go entscheidet
Ein Wissensassistent, der aus Ihren Dokumenten antwortet, ist nach dem EU AI Act ein System mit begrenztem Risiko — kein Hochrisikosystem. Die Nachweise sind organisatorisch, jeder passt auf eine Seite, und keiner verlangt einen Juristen im Projektteam.
| Nachweis | Was er umfasst | Verantwortlich | Wann |
|---|---|---|---|
| Zweck & RechtsgrundlageArt. 6 DSGVO | Eine Seite: Zweck, Datenkategorien, Empfänger, Löschfristen. | DSB | Vor dem ersten Test |
| AuftragsverarbeitungsvertragArt. 28 DSGVO | Mit Modell- und Hosting-Anbieter; Training auf Ihre Eingaben ausgeschlossen. | Einkauf + DSB | Vor der Unterschrift |
| TransparenzhinweisArt. 13/14 DSGVO, AI Act Art. 50 | Ein Satz im Interface — kein Absatz in den AGB. | Product Owner | Beim Go-Live |
| Betriebsvereinbarung§ 87 Abs. 1 Nr. 6 BetrVG | Mitbestimmung bei Systemen, die Mitarbeiterabfragen protokollieren. | HR + Betriebsrat | 4–8 Wochen, vor dem Go-Live |
| Datenschutz-FolgenabschätzungArt. 35 DSGVO | Auf der DSK-Muss-Liste, wenn automatisierte Bewertungen Beschäftigte betreffen. | DSB | Vor dem Go-Live |
Drei Orte, an denen das Modell laufen kann
Die Komponenten sind in allen drei Stufen identisch. Ein späterer Wechsel ist eine Migration, kein Neubau.
EU-Cloud, verwaltet
Modell und Index in einem EU-Rechenzentrum, AVV, kein Training auf Ihren Eingaben.
Dedizierte EU-Instanz
Eigene Tenancy, eigenes Zugriffskonzept, Modell und Vektordatenbank getrennt von anderen Kunden.
On-Premise
Open-Weight-Modell auf Ihrer Hardware. Nichts verlässt das Gebäude — auch keine Metadaten.
Festpreis pro Baustein, keine Überraschungen
Die Richtwerte gelten für Unternehmen mit 50 bis 500 Beschäftigten und bis zu 20.000 Dokumenten. Das verbindliche Angebot folgt nach der Analyse — nicht vorher, weil jede andere Reihenfolge für beide Seiten teuer wird.
Analyse
- Dateninventur und Rechteprüfung
- 5–8 Anwendungsfälle bewertet
- Kosten- und Amortisationsrechnung
- Entscheidungspapier für die Geschäftsführung
- Abschlussgespräch inklusive
Pilot
- Ein bis zwei Anwendungsfälle im Echtbetrieb
- 10–15 benannte Nutzende
- Testset mit echten Fachfragen
- Genauigkeit und Kosten pro Abfrage gemessen
- Go-/No-Go-Bericht und Skalierungsplan
Betrieb
- Monitoring und Kostenalarme
- Index-Aktualisierung und Qualitätsprüfung
- Rechte-Audit, quartalsweise
- Bereitschaft für Störungen
- Rollout weiterer Bereiche nach Tagessatz
Was Sie bekommen — und was ausdrücklich nicht
Ein ehrlicher Leistungsumfang ist die halbe Zusammenarbeit. Die rechte Spalte ist keine Schwäche, sondern die Stelle, an der die meisten Projekte später Streit bekommen.
Im Umfang
- Dokumentenaufnahme inklusive OCR für gescannte Papierakten
- Vektorindex mit Versions- und Revisionserkennung
- Retrieval, Antwortschicht und eine schlanke Weboberfläche
- Berechtigungskonzept auf Basis Ihrer bestehenden Gruppen
- Testset mit 50–100 echten Fragen aus dem Fachbereich
- Messung von Genauigkeit, Antwortzeit und Kosten pro Abfrage
- Betriebshandbuch, Runbook und Schulung der internen Owner
- Vollständige Übergabe: Code, Konfiguration, Index, Dokumentation
Nicht im Umfang
- Lizenz- und Hostingkosten Dritter (werden transparent ausgewiesen)
- Beschaffung von GPU-Hardware für On-Premise
- Änderungen an ERP, DMS oder Quellsystemen
- Rechtliche Beratung oder Erstellung der DSFA
- Verhandlung der Betriebsvereinbarung — Begleitung ja, Verhandlung nein
- 24/7-Betrieb ohne separaten Wartungsvertrag
- Migration historischer Datenbestände ohne klaren Eigentümer
Was in den ersten Gesprächen immer gefragt wird
Wo liegen meine Daten während des Betriebs?
Das entscheiden Sie, nicht der Anbieter. Es gibt drei Stufen: verwaltete EU-Cloud, dedizierte EU-Instanz, On-Premise. Bei Kunden- oder Personendaten arbeite ich ausschließlich mit Stufe 2 oder 3. Bei rein internem Prozesswissen ist Stufe 1 mit Auftragsverarbeitungsvertrag und ausgeschlossenem Training vertretbar.
In allen drei Stufen gilt: Das Modell erhält nur die Textabschnitte, die für die konkrete Frage abgerufen wurden — nicht den Dokumentbestand.
Was sagt der Betriebsrat dazu?
Er hat bei Systemen mitzubestimmen, die Mitarbeiterabfragen protokollieren können (§ 87 Abs. 1 Nr. 6 BetrVG). Deshalb sitzt er bei mir ab Woche 1 am Tisch, nicht nach der Vertragsunterschrift.
Technisch lässt sich das entschärfen: Protokollierung ohne Personenbezug, konfigurierbare Aufbewahrungsfrist, keine Leistungs- oder Verhaltenskontrolle. Diese Punkte stehen als Konfigurationsoption im Betriebshandbuch — nicht als Versprechen im Angebot.
Brauche ich eigene Hardware oder eine GPU?
Für Stufe 1 und 2: nein. Für On-Premise: in der Regel eine GPU mit 24–48 GB Speicher für ein 7B–14B-Modell, plus einen Server für den Vektorindex. Das ist eine Investition im mittleren fünfstelligen Bereich und nur dann sinnvoll, wenn Ihre Daten das Gebäude tatsächlich nicht verlassen dürfen.
Für die meisten Mittelständler ist Stufe 2 der bessere Kompromiss: rechtlich sauber, technisch souverän, ohne eigene Infrastruktur.
Wie lange dauert es, bis es produktiv läuft?
Acht Wochen vom Kickoff bis zum ausgewerteten Piloten. Produktivbetrieb für einen Bereich typischerweise drei bis fünf Monate, abhängig von der Betriebsvereinbarung — die ist in der Praxis der kritische Pfad, nicht die Technik.
Was passiert, wenn der Assistent eine falsche Antwort gibt?
Dann ist die Antwort auf ein Dokument zurückführbar, das Sie prüfen können — das ist der Unterschied zu einem Chatbot ohne Quellen. Zusätzlich gilt die harte Regel: findet das Retrieval keinen passenden Abschnitt, antwortet das System nicht, sondern übergibt an einen Menschen.
Genauigkeit wird nicht behauptet, sondern am Testset gemessen: Anteil akzeptierter Antworten, Anteil korrekter Quellenangaben, Anteil der „weiß ich nicht“-Fälle, die tatsächlich berechtigt waren.
Warum nicht einfach Microsoft Copilot oder ChatGPT Enterprise?
Wenn Ihre Inhalte vollständig in Microsoft 365 liegen und die Lizenzfrage geklärt ist, kann Copilot ein vernünftiger erster Schritt sein. Zwei Einschränkungen bleiben: die Suche endet an der Grenze des Tenants, und die Antwortqualität ist nicht messbar anpassbar.
RAG lohnt sich, sobald Dokumente außerhalb von M365 liegen (Netzlaufwerk, DMS, Papier, Ticketsystem), sobald ein eigenes Testset und eine belegbare Genauigkeitszahl gebraucht werden, oder sobald On-Premise gefordert ist. Häufig ist die ehrliche Antwort: beides kombinieren.
Bleibe ich von Ihnen abhängig?
Nein, und das ist eine bewusste Designentscheidung. Sie erhalten Code, Konfiguration, Index und Dokumentation. Es gibt keinen Lizenzvertrag, keine Mindestlaufzeit und keine Komponente, die nur mit meinem Zugang funktioniert. Der Betrieb ist kündbar; danach läuft das System weiter.
30 Minuten, um zu prüfen, ob Ihr Fall passt.
Kein Verkaufsgespräch. Wir sehen uns zwei oder drei Ihrer Dokumentbestände an, und ich sage Ihnen am Ende der halben Stunde, ob RAG dafür das richtige Werkzeug ist — oder ob ein anderes Problem vorliegt.
- Kontakt
- Lei NingSenior IT Consultant · Java · AI Engineering
- lei.ning@nings.eu
- Telefon
- +49 176 2351 4012
- Web
- www.nings.eu
- Standort
- Offenburg, Baden-WürttembergEinsatz deutschlandweit, vor Ort oder remote
