Die Frage „Cloud-API oder eigene Hardware?” endet im Mittelstand selten bei der Technik, sondern bei der Rechnung. Auf dieser Basis gerechnet: Ein Mac Studio mit 256 GB Unified Memory, betrieben mit Ollama und einem Docker-Stack für OCR, Vektor-Datenbank und Oberfläche, kostet über drei Jahre rund 12.600 bis 14.400 Euro — bei einer Cloud-Lösung mit 50.000 RAG-Anfragen pro Monat liegen dieselben drei Jahre bei 36.000 bis 54.000 Euro. Dieser Beitrag stellt die Kostenpositionen offen und macht die Annahmen sichtbar.
Die Rechnung hinter dieser Entscheidung ist erstaunlich simpel, sobald man anfängt, sie aufzuschreiben. Sie basiert auf realen Hardware-, Strom- und Wartungsparametern für den Mittelstand — nicht auf Herstellerangaben und nicht auf Listenpreisen für Endkunden.
Ein Hinweis zur Einordnung vorweg: Die folgenden Zahlen sind ein Rechenmodell, kein Angebot. Die Ergebnisse hängen an vier Annahmen — Hardwarepreis, Strompreis, Wartungsaufwand und Anfragevolumen. Diese sind jeweils benannt, damit die Kalkulation für den eigenen Fall nachvollzogen und angepasst werden kann.
1. Die 3-Jahres-TCO im Überblick
Der Ausgangspunkt ist die vollständige Kostentabelle über drei Jahre, getrennt nach einmaligen Investitionen (CAPEX) und laufenden Kosten (OPEX):
| Kostenkomponente | Initial (Jahr 1) | Jahr 2 | Jahr 3 | 3-Jahre Gesamt |
|---|---|---|---|---|
| CAPEX: Hardware & Zubehör | 9.000 € – 10.500 € | 0 € | 0 € | 9.000 € – 10.500 € |
| OPEX: Stromverbrauch | 200 € – 300 € | 200 € – 300 € | 200 € – 300 € | 600 € – 900 € |
| OPEX: API- und Cloud-Kosten | 0 € | 0 € | 0 € | 0 € |
| OPEX: Software-Lizenzen | 0 € | 0 € | 0 € | 0 € (Open-Source-Stack) |
| OPEX: IT-Wartung & Admin | 1.000 € | 1.000 € | 1.000 € | 3.000 € |
| GESAMT-TCO (3 Jahre) | 10.200 € – 11.800 € | 1.200 € – 1.300 € | 1.200 € – 1.300 € | 12.600 € – 14.400 € |
Auffällig ist, wie wenig der laufende Betrieb kostet. Der Hardware-Anschaffungspreis dominiert das erste Jahr; danach bleiben rund 1.200 bis 1.300 Euro pro Jahr übrig. Genau darin liegt der Unterschied zur Cloud: Dort ist der laufende Betrieb der teure Teil.
2. CAPEX — die einmalige Hardwareanschaffung
2.1 Mac Studio, 256 GB Unified Memory
Ein Apple-Silicon-Mac Studio mit 256 GB Unified Memory und 1 TB beziehungsweise 2 TB SSD schlägt bei einer B2B-Anschaffung mit rund 9.000 bis 10.000 Euro netto zu Buche. Der Einzelpreis ist die größte Position der gesamten Rechnung — und zugleich die, die man mit den wenigsten Annahmen beziffern kann, weil der Marktpreis für ein definiertes Modell existiert.
2.2 Peripherie und Absicherung
Für den Dauerbetrieb kommen unterbrechungsfreie Stromversorgung (USV) sowie eine externe Backup-Anbindung (NAS oder externe SSD) hinzu: rund 500 Euro. Das ist kein optionaler Posten. Ein RAG-System ohne Backup des Vektorindex und der Chat-Historien ist kein Produktivsystem, sondern eine Demo mit Produktivdaten.
2.3 Steuerliche Abschreibung
In Deutschland lässt sich das Gerät als mobiles Wirtschaftsgut bilanziell abschreiben; die Aufteilung auf die Nutzungsdauer verändert den Cashflow, nicht die Gesamtkosten. Für die TCO-Betrachtung ist dieser Punkt ohnehin irrelevant — er ist aber für die Argumentation gegenüber der Geschäftsführung nicht ohne Bedeutung.
3. OPEX — die laufenden Betriebskosten
3.1 Stromverbrauch
Apple Silicon zeichnet sich durch eine im Vergleich zu x86-GPU-Workstations — etwa zwei NVIDIA RTX 6000 Ada mit über 1.000 W Leistungsaufnahme — extrem hohe Energieeffizienz aus. Für die Kalkulation relevant sind zwei Betriebszustände:
- Leerlauf / Standby (nachts und bei geringer Last): etwa 10 bis 20 W
- Aktive RAG- und OCR-Verarbeitung (M-Series Ultra): etwa 120 bis 250 W
Für den typischen Betriebsfall — 24/7 verfügbar, acht Stunden tägliche Spitzenlast bei 200 W, sechzehn Stunden Leerlauf bei 20 W — ergibt sich ein Energiebedarf von rund 2,0 kWh pro Tag beziehungsweise etwa 730 kWh im Jahr. Bei einem Gewerbestrompreis von 0,35 bis 0,40 Euro pro kWh sind das lediglich 250 bis 300 Euro pro Jahr, also 750 bis 900 Euro über drei Jahre.
Diese Position ist der eigentliche Grund, warum die Hardwarerechnung aufgeht. Ein klassischer GPU-Server mit vergleichbarer Rechenleistung zieht um Größenordnungen mehr Strom — bei einem Energiepreis, der in den kommenden Jahren nicht sinken wird.
3.2 Software-Lizenzen und API-Gebühren
Ollama, Open WebUI, Qdrant oder ChromaDB sowie Docling für OCR: 0 Euro. Der komplette Stack läuft unter freier Lizenz. Ebenso die Cloud-API-Kosten: 0 Euro, weil ausschließlich lokal ausgeführt wird — keine Token-Gebühren, keine Anfrage-Preise, keine Preissteigerung durch den Anbieter im vierten Betriebsjahr.
Dieser Punkt ist in der Kalkulation oft der eigentliche Auslöser. Eine Cloud-Lösung verursacht keine sichtbare Investition, aber eine jährliche, wachsende Kostenposition — und genau die ist es, die sich über die Zeit zur eigentlichen Investition summiert.
3.3 Systemadministration und Wartung
Log-Bereinigung, Docker-Updates, Modell-Pruning und Speicher-Audits erfordern rund ein bis zwei Stunden Aufwand pro Monat, kalkuliert mit etwa 1.000 Euro pro Jahr. Konkret bedeutet das: wöchentlich ein Blick ins Log, monatlich ein Durchlauf der Bereinigung und ein Update-Check, quartalsweise ein Sicherheitsaudit. Die Details dazu stehen in Ollama Wartungsaufgaben im Überblick.
4. Wirtschaftlichkeitsvergleich: Mac Studio gegen Cloud-APIs
Für den Vergleich braucht es ein Anfragevolumen. Der Referenzfall: ein mittelständisches Unternehmen mit 25 bis 50 Mitarbeitern und rund 50.000 RAG-Anfragen pro Monat über kommerzielle Cloud-APIs wie GPT-4o oder Claude 3.5 Sonnet. Über drei Jahre sind das 1,8 Millionen Anfragen.
| Lösung | 3-Jahres-Gesamtkosten | DSGVO- und Datenschutz-Risiko |
|---|---|---|
| Lokaler Mac Studio (256 GB RAM) | ca. 13.500 € gesamt | Null Zusatzrisiko — 100 % lokal, offline, DSGVO-konform |
| Cloud-LLM-API (GPT-4o / Claude) | ca. 36.000 € – 54.000 € (nutzungsabhängig) | Hoch: zusätzliche AV-Verträge, Unterauftragsverarbeitung, dokumentierte Übermittlung in Drittländer |
Der grafische Vergleich der beiden Szenarien:

Der Abstand zwischen beiden Szenarien beträgt rund 22.000 bis 40.000 Euro über drei Jahre — bei identischer oder besserer Antwortqualität, weil ein lokal betriebenes Modell mit 72 Milliarden Parametern durchaus auf Augenhöhe mit gehosteten Modellen arbeitet.
5. Amortisation: Wann sich die Hardware bezahlt macht
Die Hardware-Anschaffung von rund 9.500 Euro amortisiert sich gegenüber der Cloud-Nutzung in diesem Referenzfall bereits nach 8 bis 12 Monaten. Die Rechnung dahinter ist simpel: Rund 9.500 Euro Anschaffungskosten stehen einer jährlichen Ersparnis von etwa 12.000 bis 18.000 Euro gegenüber — der Break-even liegt damit rechnerisch deutlich vor dem Ende des ersten Betriebsjahres.
Wichtig ist die Umkehrung dieser Rechnung: Je höher das Anfragevolumen, desto schneller amortisiert sich die Hardware. Bei einem Unternehmen mit deutlich geringerer Nutzung verschiebt sich der Break-even nach hinten. Und es gibt eine Schwelle, unterhalb derer sich die Hardware-Rechnung nicht mehr trägt — dann ist die Cloud-API nicht teuer, sondern richtig. Diese Grenze ehrlich zu benennen, gehört zu einer belastbaren Entscheidungsvorlage dazu.
6. Was in dieser Rechnung nicht enthalten ist
Eine TCO, die nur die schönen Positionen auflistet, ist keine TCO. Die folgenden Punkte sind bewusst ausgeklammert und müssen im Einzelfall bewertet werden:
- Initialer Aufwand für Aufbau und Enumeration. Die geschätzten ein bis zwei Stunden monatlicher Wartung enthalten nicht die einmalige Woche für Aufbau, Schnittstellenanbindung und Enumeration des Dokumentenbestands.
- Verfügbarkeit und Ausfallrisiko. Eine lokale Lösung hat einen Single Point of Failure. Bei 24/7-Pflichten ist ein Redundanzkonzept (etwa ein zweites Gerät als Hot-Standby) zu kalkulieren.
- Austausch und Wertverfall. Über drei Jahre hinweg kann die Generation wechseln; die Wechselkosten der Hardware sind in der TCO nicht abgebildet.
- Finanzierungseffekt. Leasing oder Anschaffung über Abschreibung verändern den Cashflow, nicht die Gesamtkosten.
- Qualifizierung und Akzeptanz. Der Aufwand, der entsteht, wenn Mitarbeiter eine neue Oberfläche nutzen sollen, taucht in keiner TCO auf, ist aber real.
7. Fazit
Die Gesamtrechnung für eine lokale RAG-Lösung auf Basis eines Mac Studio mit 256 GB Unified Memory fällt über einen Dreijahreszeitraum günstig aus: 12.600 bis 14.400 Euro gegen 36.000 bis 54.000 Euro bei einer Cloud-API mit vergleichbarem Anfragevolumen — bei gleichzeitig vollständiger Datensouveränität und ohne die Compliance-Aufwände, die eine Übermittlung personenbezogener Daten in Drittländer mit sich bringt.
Die Argumentation gegenüber der Geschäftsführung trägt dabei nicht das billige Argument „Cloud ist teuer”, sondern drei belastbare Punkte: eine planbare, über drei Jahre konstante Kostenbasis ohne Anbieter-Preisanpassungen; die Tatsache, dass mit rund 1.200 Euro Jahreskosten keine laufende Skalierungsgebühr entsteht, wenn das Anfragevolumen wächst; und den Umstand, dass die DSGVO-Fragestellung bei einer rein lokalen Lösung nicht jährlich neu verhandelt werden muss.
Wer die Entscheidung vorbereitet, findet den technischen Aufbau in Enterprise RAG mit Ollama und Mac Studio und die laufenden Betriebsaufgaben in Ollama Wartungsaufgaben im Überblick. Die Datenschutzseite, die in dieser Rechnung nur als Stichwort „Null Zusatzrisiko” auftaucht, ist in KI-Sicherheit im Mittelstand ausführlich beschrieben.

