Vor wenigen Wochen saß ich mit dem CTO eines mittelständischen Industrieunternehmens zusammen. Auf dem Tisch lagen drei Angebote: ChatGPT Enterprise für rund 50 Nutzer, ein „eigener KI-Server“ eines deutschen Anbieters für knapp 1.200 € im Monat plus Setup-Pauschale, und eine maßgeschneiderte Azure-Lösung über einen Systemintegrator. Sein Satz: „Ich werde permanent mit der Binärwahl konfrontiert — Cloud unsicher oder eigener Server. Das ist mir zu einfach.“
Er hatte recht. Die Diskussion um KI-Nutzung im Unternehmen wird in der Praxis fast immer als Zweikampf inszeniert: ChatGPT auf der einen Seite, eigener Server auf der anderen. Diese Erzählung ist verkaufsgetrieben — sie funktioniert für Anbieter beider Seiten, weil sie klare Produkte verkauft. Für IT-Entscheider, die langfristig tragfähige Architektur planen, ist sie irreführend.
Dieser Beitrag schaut sich die echten Optionen an, mit ehrlichem Blick auf das, was hinter dem Begriff „KI-Server“ steckt, und einer Heuristik, mit der ein CTO die Diskussion in seinem Haus strukturiert führen kann.
Warum die binäre Frage am Ziel vorbeigeht
Die Verkürzung auf „Cloud oder Server“ lässt vier Dimensionen ungeordnet liegen, die in der Praxis getrennt entschieden werden müssen:
- Inferenz-Ort — wo läuft das Sprachmodell tatsächlich?
- Datenort — wo liegen Prompts, Konversationen, Embeddings, Wissensbasen?
- Identitäts- und Berechtigungs-Layer — wo wird authentifiziert, wer sieht was?
- Anwendungs-Hosting — wo läuft die Logik, die das Modell und die Daten zusammenbringt?
Jede dieser Dimensionen lässt sich unabhängig entscheiden. Eine Architektur kann Inferenz in einer EU-Cloud betreiben, Daten in der eigenen Infrastruktur halten, Identitäten über das vorhandene Active Directory führen und die Anwendung auf einem eigenen App-Service hosten. Das ist nicht „Cloud“ und nicht „Server“ — es ist die Architektur, die in der Realität bei den meisten ernsthaften Setups dabei rauskommt.
Wer in der binären Logik bleibt, kauft am Ende eine Schubladenlösung, die in keiner der vier Dimensionen optimal ist.
Die echten Optionen, sauber sortiert
Statt zweier Pole gibt es heute mindestens sechs realistische Stufen. Die Tabelle zeigt, was sich dahinter verbirgt.
| Stufe | Was es ist | Wer es betreibt | DSGVO-Komfort | Typische Monatskosten |
|---|---|---|---|---|
| 1 — Consumer-Tools | ChatGPT Plus, Claude Pro für einzelne Nutzer | Anbieter (US) | Eingeschränkt | 20–25 € pro Nutzer |
| 2 — Business-Tier mit DPA | ChatGPT Team/Business, Claude Team | Anbieter, mit AVV und „no training on data“ | Vertretbar | 25–40 € pro Nutzer |
| 3 — Enterprise mit dediziertem Setup | ChatGPT Enterprise, Claude Enterprise | Anbieter, mit SSO, Audit-Log, Data-Residency-Optionen | Gut, je nach Region | individuell, meist 60–120 € pro Nutzer |
| 4 — Hyperscaler mit EU-Region | Azure OpenAI EU, Bedrock EU, Vertex AI EU | Hyperscaler, gehostet in EU-Region | Sehr gut bei korrekter Konfiguration | nutzungsabhängig, 200–5.000 € |
| 5 — EU-souveräne Modelle | Mistral La Plateforme, Aleph Alpha, IONOS AI Model Hub | EU-Anbieter, EU-Hosting | Sehr gut | nutzungsabhängig, 100–3.000 € |
| 6 — Eigene Inferenz (On-Prem oder dedizierte GPU-Cloud) | Llama, Mistral, Qwen auf eigener Hardware oder vGPU | Sie selbst | Maximal, aber mit Betriebslast | 1.500–15.000 € je nach Hardware |
Eine ehrliche Bewertung beginnt damit, alle sechs Stufen auf den Tisch zu legen. Wer nur Stufe 1 und Stufe 6 vergleicht, hat die spannendsten Optionen schon übersehen.
ChatGPT Plus und Claude Pro — wer kommt damit aus?
Für einzelne Mitarbeiter mit unkritischer Nutzung sind die Consumer-Tools unverändert ein guter Einstieg. Recherche, Textverbesserung, Brainstorming, Code-Snippets. Wenn keine personenbezogenen Daten und keine vertraulichen Geschäftsinformationen in die Prompts wandern, ist die juristische Lage handhabbar — wenn auch nicht ohne Diskussion.
Die Grenze ist nicht der Funktionsumfang. Sie ist die Frage, was Mitarbeiter typischerweise eingeben. In der Praxis landen schnell Kundennamen, Vertragsinhalte, interne Strategiepapiere und Personalthemen in den Prompts — meistens unbeabsichtigt, oft ohne dass es im Tooling sichtbar wird. Wer das nicht durch Schulung, Richtlinien und technische Schranken adressiert, hat unabhängig vom gewählten Tier ein Datenschutzproblem.
Business und Enterprise — der pragmatische Weg für viele Mittelständler
Die wenig glamourösen Wahrheiten der Anbieter-Tier sind oft die ökonomischste Lösung:
- Auftragsverarbeitungsverträge sind heute Standard — sowohl bei OpenAI als auch bei Anthropic, ebenso bei Google und Microsoft.
- Daten werden bei Business/Enterprise nicht zum Training verwendet — vertraglich zugesichert, mit Audit-Spuren.
- Datenresidenz lässt sich konfigurieren — bei ChatGPT Enterprise und bei Hyperscaler-Angeboten kann der Datenort auf die EU festgelegt werden.
- SSO, Audit-Logs, Admin-Konsolen, DLP-Anbindung sind in den höheren Tiers verfügbar.
Für viele Mittelständler ist das die wirtschaftlich beste Option. Pro Nutzer bleibt es überschaubar, der Reifegrad der Plattformen ist hoch, und der eigene Betriebsaufwand ist minimal.
Was diese Lösungen nicht bringen: tiefe Integration in interne Daten ohne Konnektoren-Bau, individuelle Tool-Suites, und eine Architektur, die ohne Anbieter weiter existiert. Wer das braucht, muss eine Stufe weiter denken.
Hyperscaler-Inferenz in EU-Regionen
Azure OpenAI in der EU-Region, Bedrock in Frankfurt, Vertex AI in europe-west — das sind die Optionen, die in den letzten 18 Monaten am stärksten gereift sind. Aus CTO-Sicht ist das oft der Sweetspot:
- Modellauswahl ist groß (GPT-Familie über Azure, Claude über Bedrock, Gemini und Open-Source-Modelle über Vertex)
- Datenresidenz ist klar regelbar
- Identitäts-Layer integriert sich direkt in vorhandenes Azure AD, AWS IAM oder Google Workspace
- Logging und Audit über die vorhandenen Cloud-Bordmittel
- Skalierung ist nutzungsabhängig, ohne Hardware-Vorab-Investment
Der Aufwand verschiebt sich von „Hardware kaufen und betreiben“ zu „Architektur sauber aufsetzen und betreiben“. Diese Verschiebung ist für die meisten IT-Organisationen passender — Cloud-Kompetenz ist im Haus, GPU-Betrieb meist nicht.
EU-souveräne Modelle als Differenzierungsoption
Mistral, Aleph Alpha, IONOS AI Model Hub und einige weitere Anbieter liefern hochwertige Modelle aus EU-betriebenen Rechenzentren. Die Leistungsspitze ist nicht immer auf dem Niveau der US-Frontier-Modelle, aber die Lücke schrumpft pro Quartal sichtbar.
Für Branchen, in denen die Datenschutz-Konversation politisch oder regulatorisch besonders heikel ist — kritische Infrastruktur, Gesundheit, Verwaltung, sensibler B2B-Kontext — ist diese Option ein ernsthafter Kandidat. Aus CTO-Sicht zählt hier zusätzlich: weniger Abhängigkeit von US-Exportkontrollen und politischen Verschiebungen, klarere Vertragsbasis nach EU-Recht.
Eigene Inferenz — wann wirklich, wann nicht
Hier wird es interessant, weil der Markt diese Stufe massiv überschätzt. Der „eigene KI-Server für 999 € im Monat“ verspricht oft mehr, als er liefern kann.
Was hinter „eigenem KI-Server“ tatsächlich steckt
Wenn man nachfragt, sind viele dieser Angebote in Wahrheit:
- Eine virtuelle Maschine in einem deutschen Rechenzentrum
- Mit einem geöffneten Sprachmodell-Container (oft Llama oder Mistral)
- Plus einer Web-Oberfläche und einer Wissensbasis-Komponente
- Inferenz läuft entweder lokal auf der VM (mit überschaubarer Modellgröße und Performance) oder wird im Hintergrund an einen Cloud-Anbieter durchgereicht
Das ist nicht per se schlecht — aber es ist eben kein dedizierter Server mit GPU-Inferenz nur für Ihr Unternehmen, wie der Begriff suggeriert. Wer das kauft, sollte vorher genau nachfragen, was wirklich on-prem läuft und was nicht.
Wann eigene Inferenz wirklich sinnvoll ist
Echte On-Prem-Inferenz mit eigener GPU-Hardware lohnt sich in vier Konstellationen:
- Sehr hohe Datenklassifizierung — Geheimhaltungsstufen, in denen die EU-Cloud trotz aller Verträge nicht ausreicht (Geheimschutz, Sicherheitsbehörden, einige Forschungsbereiche)
- Sehr hohes konstantes Nutzungsvolumen — wenn Inferenz-Kosten in der Cloud monatlich fünfstellig werden, kann eigene Hardware nach 18–24 Monaten wirtschaftlich attraktiv werden
- Sehr spezialisierte Modelle — Feintuning auf interne Daten in einer Tiefe, die als API-Service nicht angeboten wird
- Netz-Isolation als harte Anforderung — Setups ohne jede Außenverbindung, beispielsweise in Produktionsumgebungen
In allen anderen Fällen ist die Total-Cost-of-Ownership-Rechnung selten zugunsten von On-Prem. Hardware veraltet, Modelle entwickeln sich, Betrieb braucht Spezialisten — diese drei Posten zusammen sind in der Anbieter-Werbung selten vollständig sichtbar.
Total Cost of Ownership ehrlich gerechnet
Eine realistische Drei-Jahres-Sicht zeigt das Bild klarer als jede Monatsgegenüberstellung.
| Position | Tier 2 (Business) | Tier 4 (Hyperscaler EU) | Tier 6 (Eigene Inferenz) |
|---|---|---|---|
| Setup einmalig | 0 € | 5.000–20.000 € | 25.000–80.000 € |
| Lizenz/Service Jahr 1 | 18.000 € (50 Nutzer) | 18.000–60.000 € | 0–24.000 € (Support) |
| Infrastruktur Jahr 1 | 0 € | 12.000–24.000 € | 30.000–80.000 € |
| Interner Aufwand Jahr 1 | 0,1 VZE | 0,3 VZE | 0,8–1,2 VZE |
| Betrieb über 3 Jahre | gering | mittel | hoch |
| Sicherheits- und Audit-Aufwand | gering | mittel | hoch |
Die mittlere Spalte ist für die meisten Mittelständler die ehrlichste Antwort. Sie kombiniert ausreichend Datensouveränität mit überschaubarem Betriebsaufwand, ist nutzungsbasiert skalierbar und lässt sich in vorhandene Cloud-Disziplinen einordnen.
Entscheidungs-Heuristik für CTOs
Statt einer Empfehlung „eine Lösung für alle“ eine pragmatische Reihenfolge, die in vielen Projekten trägt:
Schritt 1 — Datenklassifikation klären. Welche Daten würden überhaupt in Prompts landen? Welche Schutzbedarfsklassen sind betroffen? Ohne diese Antwort ist jede Diskussion über Hosting-Optionen Bauchgefühl.
Schritt 2 — Volumen ehrlich schätzen. Wie viele Nutzer, wie viele Konversationen pro Tag, welche Token-Volumina realistisch im ersten Jahr? Übertriebene Schätzungen treiben unnötig in Richtung eigener Inferenz.
Schritt 3 — Bestehende Cloud-Strategie respektieren. Wenn das Unternehmen bereits in Azure, AWS oder GCP ist, ist die passende Inferenz-Region dort der erste Kandidat. Mehrere parallele Cloud-Strategien erzeugen mehr Risiko, als sie an Souveränität gewinnen.
Schritt 4 — Identitäts-Layer als Pflichtfeld behandeln. SSO, MFA, Audit, DLP — diese Anforderungen sind in den meisten Fällen wichtiger als die Frage „eigener Server ja/nein“.
Schritt 5 — Pilot in Stufe 3 oder 4 starten, nicht in Stufe 6. Wer mit einem kleinen Setup auf Business- oder Hyperscaler-Niveau startet, lernt schnell, was im eigenen Haus tatsächlich gebraucht wird. Sechs Monate Pilotbetrieb sind die beste Voraussetzung für eine fundierte Entscheidung über die nächste Stufe.
Schritt 6 — Eigene Inferenz nur prüfen, wenn mindestens eines der vier oben genannten Kriterien wirklich gegeben ist. Sonst handelt man sich Betriebslast ein, ohne den passenden Mehrwert zu bekommen.
Was ich für Sie entwickle
Mein Fokus liegt nicht auf dem Verkauf von „KI-Servern“, sondern auf DSGVO-konformen Cloud- und Hybrid-Setups, in denen die richtige Mischung aus Sicherheit, Wirtschaftlichkeit und Wartbarkeit entsteht.
DSGVO-konformes Architektur-Konzept — Schutzbedarfsanalyse, Daten-Klassifikation, Auswahl der passenden Stufe (2 bis 5), Klärung von Auftragsverarbeitungsverträgen, Datenresidenz und Transparenzpflichten.
Azure-/Bedrock-/Vertex-Setup in EU-Regionen — saubere Konfiguration von Inferenz, Netzwerk-Isolation, Identitäts-Anbindung und Kosten-Steuerung. Inklusive Audit-Logging und Mandantentrennung.
Hybride RAG-Architekturen — Inferenz in EU-Cloud, Wissensbasis und Embeddings in der eigenen Infrastruktur. Damit bleiben sensible Daten unter Ihrer Kontrolle, ohne dass Sie GPU-Hardware betreiben müssen.
Integration in Microsoft 365, SAP und vorhandene Fachsysteme — pragmatische Anbindung über vorhandene APIs, mit klaren Berechtigungsschnitten und ohne Schatten-IT-Datenbestände.
Governance- und Policy-Pakete — Nutzungsrichtlinien, technische Schranken (DLP, Prompt-Filter, Audit), Mitarbeiter-Schulung und Reporting-Mechanismen, die regelmäßige Audits überstehen.
Pilotbetreuung in den ersten 90 Tagen — wöchentliches Monitoring, KPI-Reporting, Anpassung der Konfiguration, schrittweise Erweiterung des Nutzer- und Anwendungskreises.
Der Einstieg muss kein Plattform-Großprojekt sein. Ein klar abgegrenzter Pilot mit zwanzig bis fünfzig Nutzern und zwei bis drei realen Anwendungsfällen liefert in einem Quartal die belastbare Grundlage für die nächste Ausbauentscheidung.
Fazit
Die binäre Diskussion „ChatGPT oder eigener KI-Server“ ist eine Vereinfachung, mit der vor allem Anbieter beider Seiten verkaufen. Für IT-Entscheider, die langfristig tragfähige Architekturen aufbauen wollen, liegen die spannenden Antworten in der Mitte: Business- und Enterprise-Tier mit sauberer DPA, Hyperscaler-Inferenz in EU-Regionen, EU-souveräne Modelle dort, wo es politisch oder regulatorisch zählt — und eigene Inferenz nur dann, wenn eines der vier harten Kriterien wirklich gegeben ist.
Wer der Versuchung widersteht, sich in die binäre Logik drängen zu lassen, bekommt am Ende meist eine Lösung, die wirtschaftlicher, sicherer und wartbarer ist als jede der beiden Extreme. Der ehrliche erste Schritt ist nicht der Kauf einer Plattform, sondern die saubere Klärung von Datenklassifikation, Volumen, Identitäts-Layer und Cloud-Strategie.
Wenn Sie an diesem Punkt stehen — drei Angebote auf dem Tisch und eine ehrliche Einordnung suchen — lohnt sich ein nüchterner Architektur-Review oft mehr als das nächste Sales-Gespräch. Genau dafür ist eine neutrale Schutzbedarfs- und Architekturanalyse der bessere Einstieg.
