In einem Workshop mit dem IT-Leiter eines mittelständischen Maschinenbauers brachte ein Mitarbeiter eine ehrliche Zahl ins Gespräch: 23 von 41 Beschäftigten im Vertrieb und in der Projektabwicklung nutzten regelmäßig ChatGPT — die meisten mit ihrem privaten Plus-Abo, einige über den Browser auf dem Diensthandy ohne klare Regelung. Niemand hatte das offiziell genehmigt. Aber niemand hatte es auch verboten.
Diese Situation ist typisch. In den meisten Mittelständlern ist die Frage „brauchen wir ChatGPT“ längst von der Realität überholt. ChatGPT ist im Haus — nur als Schatten-IT, ohne Vertragsgrundlage, ohne Audit, ohne klare Datenschutzlinie. Die eigentliche Aufgabe für IT-Entscheider ist nicht der Wechsel vom „Werkzeug“ zum „System“, wie viele Anbieter-Pitches suggerieren. Sie ist die saubere Überführung eines bestehenden, undokumentierten Zustands in eine getragene Architektur.
Dieser Beitrag schaut auf diese Aufgabe aus einer technischen Perspektive — welche Tier-Stufen es bei OpenAI tatsächlich gibt, wann Azure OpenAI die bessere Antwort ist als der direkte Weg, wie eine Migration aus dem Wildwuchs aussieht und welche Governance-Punkte vor jeder Investitionsentscheidung geklärt sein müssen.
Warum die eigentliche Frage nicht „ob ChatGPT“ lautet
Die binäre Erzählung „ChatGPT vs. Alternative“ geht am Kern vorbei. In den meisten Organisationen ist die Lage eine andere: ChatGPT wird genutzt, die Frage ist nur, ob die Nutzung in einer kontrollierten oder unkontrollierten Form geschieht.
Das Risikoprofil unterscheidet sich erheblich. Eine private Plus-Lizenz, die ein Vertriebsmitarbeiter zur Angebotsformulierung nutzt, ist datenschutzrechtlich grenzwertig — die Daten landen in einer Consumer-Umgebung, deren Vertragsgrundlage nicht für geschäftliche Nutzung vorgesehen ist. Eine Enterprise-Konfiguration mit Single-Sign-on, Audit-Logging und Datenresidenz-Klausel ist eine andere Welt.
Die Aufgabe für IT-Entscheider ist deshalb weniger eine Tool-Wahl als eine Disziplin-Frage: Wie kommt eine Organisation aus dem Zustand „informelle Nutzung“ in einen Zustand mit klarer Vertragsgrundlage, definierten Datenpfaden und durchsetzbaren Regeln?
Die vier ChatGPT-Stufen technisch nüchtern
Eine kurze Sortierung der OpenAI-Angebote, weil die Unterschiede in den Sales-Decks gerne verschwimmen.
Plus (etwa 23 € pro Nutzer)
Eine Consumer-Lizenz mit Zugang zu den aktuellen Modellen, Memory, Projects, Connectoren und Custom GPTs. Aus IT-Sicht: keine geeignete Grundlage für geschäftliche Nutzung. Kein Auftragsverarbeitungsvertrag, keine Admin-Kontrolle, keine Audit-Spur. Datennutzung für Training ist Default und kann nur pro Konto deaktiviert werden — eine zentrale Steuerung gibt es nicht.
Geeignet als private Nutzung außerhalb geschäftlicher Daten. Ungeeignet als offizielles Werkzeug im Unternehmen.
Team (etwa 25–30 € pro Nutzer im Jahresabo)
Die niedrigste echt geschäftstaugliche Stufe. Auftragsverarbeitungsvertrag, „kein Training auf Kundendaten“ als Standard, einfache Admin-Konsole, gemeinsame Custom GPTs und Workspace-Ressourcen.
Geeignet für kleinere Teams bis etwa 50 Nutzer, in denen eine zentrale Administration ausreicht und keine tieferen Compliance-Anforderungen (DSFA, AI-Act-Kennzeichnung) bestehen.
Business (etwa 25–50 € pro Nutzer)
Erweiterte Admin-Funktionen, SSO, einfacheres Lizenz-Management, mehr Connectoren auf Workspace-Ebene. Aus IT-Sicht der Mittelweg für viele Mittelständler — vertretbares Pricing, sinnvolle Admin-Tiefe.
Enterprise (Pricing individuell, typisch 60–120 € pro Nutzer)
Volle SAML-SSO-Integration, granulare Audit-Logs, Datenresidenz-Optionen (USA / EU je nach Region), erweiterte Compliance-Zertifikate, dedizierte Verarbeitungs-Workflows. Vertraglich anpassbar.
Geeignet für Organisationen ab etwa 100–200 Nutzern, mit klaren Compliance-Anforderungen und vorhandenem Identitäts-Layer (Azure AD, Okta, Google Workspace).
Die Lücke zwischen den Stufen ist nicht nur preislich. Sie ist organisatorisch: Plus und Team lassen sich mit einer Kreditkarte einführen. Business und Enterprise verlangen vertragliche Strukturen, Beschaffungsprozesse und einen Identitäts-Layer, der diese Anbindung unterstützt.
ChatGPT Enterprise vs. Azure OpenAI vs. EU-souveräne Alternativen
Die Frage, ob man OpenAI direkt oder über Azure bezieht, hat sich in den letzten 18 Monaten zu einer der wichtigsten Architekturentscheidungen entwickelt.
ChatGPT Enterprise
Die Plattform, das User-Frontend, die Connectoren und die Modell-Inferenz aus einer Hand. Schnell einzuführen, gute User-Experience, OpenAI als alleiniger Vertragspartner.
- Vorteil: Geschlossene Plattform mit klarer Verantwortung, ChatGPT-Frontend mit allen Features (Memory, Projects, Connectoren).
- Nachteil: Datenfluss durch OpenAI-Infrastruktur, weniger Flexibilität bei der eigenen Architektur, eingeschränkte Datenresidenz je nach Region.
Azure OpenAI Service
Identische Modelle, aber als Cloud-Dienst innerhalb der Microsoft-Azure-Umgebung. Inferenz läuft in der gewählten Azure-Region (etwa Sweden Central, West Europe oder Frankfurt). Vertragspartner ist Microsoft, mit den vorhandenen Azure-Enterprise-Verträgen.
- Vorteil: Datenresidenz in EU-Region klar regelbar, Integration in vorhandene Azure-Identitäten und -Disziplinen, Modelle ohne OpenAI als direkten Datenempfänger.
- Nachteil: Kein ChatGPT-Frontend von Haus aus — Frontend muss selbst gebaut oder über Drittprodukte abgedeckt werden. Verzögerter Zugang zu neuen Modellen (typisch 2–8 Wochen nach OpenAI-Release).
In der Praxis ist Azure OpenAI die häufigste Wahl für Mittelständler mit bestehender Azure-Strategie. Der fehlende „Wow-Effekt“ einer fertigen ChatGPT-Oberfläche wird durch eine Eigenentwicklung oder ein Partner-Frontend kompensiert — Aufwand vorhanden, aber überschaubar.
EU-souveräne Alternativen
Mistral La Plateforme, Aleph Alpha, IONOS AI Model Hub, gelegentlich auch direkte Anbindungen an europäische Forschungsmodelle. Die Modellqualität ist heute für viele Aufgaben tauglich, die Leistungsspitze bleibt aber hinter den US-Frontier-Modellen zurück.
- Vorteil: EU-Recht als alleinige Vertragsbasis, deutliche Reduktion politischer Risiken (US-Exportkontrollen, Datenschutzverlauf), klarere Position in regulierten Branchen.
- Nachteil: Modellqualität schwankt nach Anwendungsfall, kleineres Ökosystem, weniger fertige Integrationen.
Kurz-Entscheidung in drei Sätzen
Wer schnell starten will und keine besondere Datenstrategie hat: ChatGPT Enterprise. Wer in Azure ist und die Investition in ein eigenes Frontend tragen kann: Azure OpenAI. Wer in einer politisch oder regulatorisch besonders sensiblen Lage operiert: zusätzlich eine EU-souveräne Variante prüfen.
Schatten-IT als realistisches Ausgangsproblem
Bevor eine neue Lösung eingeführt wird, lohnt eine ehrliche Bestandsaufnahme — meistens ist sie der erschreckende Teil des Projekts.
- Wie viele Beschäftigte nutzen private Consumer-Tools (ChatGPT Plus, Claude Pro, Gemini) für geschäftliche Aufgaben?
- Wo landen typischerweise Kundendaten, Vertragsdetails, Personalinformationen in diesen Prompts?
- Welche Browser-Erweiterungen oder lokalen Tools sind ohne IT-Freigabe im Einsatz?
- Wer hat in den letzten Monaten Custom GPTs angelegt, die im Hintergrund auf interne Daten zugreifen?
Eine kurze Befragung in einem Workshop liefert in den meisten Organisationen eine Liste, die niemand vorher erwartet hat. Sie ist die Grundlage für die nächste Architekturentscheidung — und das wichtigste Argument für einen geordneten Roll-out. Wer keine Alternative anbietet, behält den Wildwuchs.
Identitäts-Layer und Governance — das eigentliche Projekt
Die Wahl der Plattform ist die einfache Hälfte der Entscheidung. Die schwierigere ist die Identitäts- und Governance-Ebene, die in den meisten Pitches kaum vorkommt.
Identitäts-Layer
ChatGPT Enterprise und Azure OpenAI lassen sich an Azure AD, Okta, Google Workspace oder andere Identity-Provider anbinden. Ohne diese Anbindung gibt es keine echte Mandantenkontrolle — Nutzerlisten werden zur Pflegeaufgabe, Offboarding wird unsicher, Audit-Trails fehlen.
Praktische Konsequenz: Die SSO-Anbindung ist nicht ein Nice-to-have, sondern Pflichtfeld für die ernsthafte Nutzung. Wer das Identity-Setup nicht hat, sollte das Plattform-Projekt mit dem IAM-Projekt verzahnen.
Audit-Logging
Wer welches Tool wann mit welchen Argumenten verwendet hat — diese Spur ist sowohl für Datenschutz als auch für interne Sicherheit relevant. Auf Enterprise-Ebene werden Audit-Logs in der Regel via API exportierbar. Wer die Logs nicht aktiv nutzt, gewinnt durch ihre Existenz wenig. Empfehlung: Audit-Daten in das vorhandene SIEM einspielen.
Data Loss Prevention (DLP)
Kritische Datenkategorien (Personaldaten, Finanzdaten, Kundendaten in regulierten Branchen) dürfen nicht ungeprüft in Prompts wandern. Hier helfen DLP-Lösungen, die auf Browser- oder Netzwerk-Ebene Filterregeln durchsetzen. Microsoft Purview oder vergleichbare Lösungen integrieren sich heute in den ChatGPT-Datenpfad.
AI-Act-Konformität
Ab August 2026 sind die meisten Pflichten des EU AI Acts voll anwendbar. Für interne KI-Nutzung relevant: Transparenz, Kennzeichnung KI-generierter Inhalte, Kompetenznachweis (Artikel 4) und Risiko-Klassifizierung der Anwendungsfälle. Diese Punkte gehören in jede Roll-out-Planung, nicht in eine spätere Aufräumphase.
Connector- und Custom-GPT-Governance
In Team und Business sind Custom GPTs ein Feature, das schnell zu Wildwuchs neigt. Jeder Mitarbeiter kann eigene GPTs anlegen, mit Connectoren auf interne Daten verknüpfen und teilen. Ohne Governance entsteht innerhalb von Monaten eine zweite Schatten-IT, diesmal innerhalb der freigegebenen Plattform. Empfehlung: ein klar definiertes Verfahren für Custom-GPT-Erstellung mit interner Daten-Anbindung, mit Freigabeprozess und regelmäßiger Sichtung.
Migrationspfad aus dem Wildwuchs
Statt eines „Big-Bang-Roll-outs“ ein nüchterner Pfad, der in der Praxis funktioniert.
Phase 1 — Bestandsaufnahme und Richtlinie (Wochen 1–3). Workshop mit Vertretern aller relevanten Abteilungen. Aktuelle Nutzungs-Realität ehrlich auf den Tisch. Erste schriftliche KI-Nutzungsrichtlinie, die festhält, was bis zur offiziellen Lösung erlaubt ist und was nicht — keine Verbote ohne Alternative.
Phase 2 — Tier- und Plattformentscheidung (Wochen 4–6). Auswahl der passenden ChatGPT-Stufe oder Azure-OpenAI-Variante. Vertragsstrukturen, Beschaffung, AVV. Identitäts-Anbindung definieren.
Phase 3 — Pilot mit 30–50 Nutzern (Wochen 7–14). Eine ausgewählte Gruppe aus den Bereichen, die am stärksten KI nutzen. Klare KPIs, wöchentliche Reviews, dokumentiertes Lernen. Audit-Logs werden während dieser Phase aktiv ausgewertet.
Phase 4 — Schulung und Roll-out (Wochen 15–20). Stufenweise Erweiterung auf weitere Bereiche. Verpflichtende Kurzschulungen (im Rahmen der AI-Act-Kompetenzpflicht), klar dokumentierte Anwendungsfälle, technische Schranken (DLP, Custom-GPT-Governance) in Betrieb.
Phase 5 — Schatten-IT abschalten (Wochen 21–24). Erst nach erfolgreichem Roll-out werden die privaten Consumer-Lizenzen aus dem geschäftlichen Datenkreislauf entfernt. Browser-Policies, Netzwerk-Regeln, klare Konsequenzen bei Verstößen — aber jetzt mit funktionierender Alternative.
Phase 6 — Konsolidierung und Ausbau (Wochen 25 ff.). KPIs prüfen, Custom-GPT-Bibliothek aufbauen, Mehrwert-Beispiele dokumentieren. Erst nach dieser Stabilisierungsphase über tiefere Integrationen, eigene Wissensbasen oder weitere Modellanbieter nachdenken.
Dieser Pfad dauert sechs Monate. Er sieht weniger glanzvoll aus als ein „Komplett-Roll-out zum Quartalsende“. Er hat dafür eine Eigenschaft, die der schnelle Weg selten hat: Er führt zu einem Setup, das in zwei Jahren noch trägt.
Was sich nicht über ChatGPT lösen lässt
Eine ehrliche Liste der Punkte, an denen ChatGPT — auch in Enterprise-Form — an Grenzen stößt.
- Tiefe Integration in interne Fachsysteme (SAP, branchenspezifische Lösungen). ChatGPT-Connectoren sind generisch, individuelle API-Integration verlangt Eigenentwicklung.
- Streng regulierte Datenklassen in Bereichen wie Verteidigung, kritische Infrastruktur, Verschlusssachen. Hier reicht auch Enterprise nicht; eigene EU-Cloud oder On-Prem ist Pflicht.
- Hochspezialisierte Modelle mit Fine-Tuning auf interne Daten in einer Tiefe, die das Standard-Angebot nicht abbildet.
- Komplette agentische Workflows mit langer Laufzeit, eigener Orchestrierung und tief integriertem Tool-Use über interne Systeme hinweg — meistens besser über Azure OpenAI mit eigener Orchestrierungs-Schicht oder dedizierte Plattformen abgebildet.
- Mandantenfähige Multi-Brand-Setups, in denen mehrere Marken oder Töchter klar getrennt arbeiten müssen — verlangt feinere Architektur.
Diese Punkte sind keine Argumente gegen ChatGPT. Sie sind die Stellen, an denen ein zusätzlicher Architekturteil entsteht, neben oder nach der ChatGPT-Einführung.
Was ich für Sie entwickle
Mein Fokus liegt nicht auf der Tool-Auswahl an sich, sondern auf der sauberen Architektur- und Governance-Ebene, die aus einer informellen ChatGPT-Nutzung eine getragene Setup-Realität macht.
KI-Schatten-IT-Audit — strukturierte Bestandsaufnahme der aktuellen, oft inoffiziellen KI-Nutzung. Ergebnis: ein nachvollziehbares Bild der Datenflüsse, der Risikoklassen und der typischen Anwendungsfälle, das als Grundlage für jede weitere Entscheidung dient.
Tier- und Plattform-Entscheidung mit TCO-Modell — Bewertung der ChatGPT-Stufen gegenüber Azure OpenAI und EU-souveränen Alternativen, einschließlich Drei-Jahres-Kostenrechnung und Bewertung der Migrationsaufwände.
Governance- und Richtlinien-Paket — schriftliche KI-Nutzungsrichtlinie, Verfahren für Custom-GPT-Anlegen und -Freigabe, Kennzeichnungspflichten nach AI Act, Schulungs- und Audit-Konzept.
Identitäts-Anbindung und Audit-Integration — SSO-Setup gegen Azure AD/Okta/Google Workspace, Audit-Log-Export ins vorhandene SIEM, DLP-Anbindung über vorhandene Microsoft-Purview- oder Drittprodukte.
Pilot- und Roll-out-Begleitung — Strukturierung des Pilots, Definition harter KPIs, Reviews, schrittweise Erweiterung. Inklusive Mitarbeiter-Schulung mit Schwerpunkt AI-Act-Kompetenzpflicht.
Frontend- oder Orchestrierungs-Schicht für Azure OpenAI — falls Azure als Inferenz-Plattform gewählt wird, Aufbau einer schlanken Eigenlösung oder Anbindung eines Partner-Frontends, einschließlich Multi-Tenant-Trennung und Audit-Schnittstelle.
Der pragmatische erste Schritt ist meist die Bestandsaufnahme — sie liefert in zwei bis drei Workshops eine klare Entscheidungsgrundlage, ohne dass bereits Plattform-Entscheidungen festgenagelt werden.
Fazit
Die Frage „brauchen wir ChatGPT“ stellt sich in den meisten Mittelständlern nicht mehr — die Plattform ist im Haus, nur informell. Die ehrliche Architekturaufgabe ist die geordnete Überführung: von einer privaten Lizenz in der Hosentasche zu einer Business- oder Enterprise-Lösung mit Identitäts-Anbindung, Audit-Logging und durchsetzbaren Regeln. Aus IT-Sicht sind dabei drei Entscheidungen wirklich wichtig: die richtige Tier-Stufe für die Organisationsgröße, die Wahl zwischen direktem OpenAI-Bezug und Azure OpenAI, und die Disziplin auf der Governance-Ebene, ohne die jede Plattform innerhalb eines Jahres wieder einen neuen Schatten produziert.
Diese Entscheidungen lassen sich in einem Quartal sauber treffen, in einem zweiten Quartal pilotieren und in einem dritten Quartal in den Vollbetrieb bringen. Der Pfad ist weniger spektakulär als der „Komplettumbau mit eigenem KI-System“, aber er trägt. Wer ihn geht, hat in einem Jahr eine Plattform, die sowohl im Audit als auch im täglichen Betrieb standhält — und die Grundlage für die nächste Stufe, falls sie sich später als nötig erweist.
