KI für Unternehmen: Der ultimative Leitfaden 2026 (DSGVO, EU AI Act, Plattformen)

Wer 2026 künstliche Intelligenz im Unternehmen einführt, hat es nicht mehr mit einer Frage des „Ob", sondern des „Wie" zu tun. Drei Viertel der deutschen Unternehmen experimentieren bereits mit generativer KI — doch nur ein Bruchteil schafft den Sprung vom Pilot in den produktiven Betrieb. Dieser Leitfaden bündelt, was wir bei innFactory AI aus über 50 KI-Projekten gelernt haben: von der Strategie bis zum Rollout, vom DSGVO-Check bis zum EU AI Act, von der Plattformwahl bis zum messbaren ROI.

Warum KI im Unternehmen jetzt strategisch entschieden werden muss

Die letzten 18 Monate haben drei Realitäten geschaffen, die jede Geschäftsführung kennen muss:

1. Schatten-KI ist überall. Studien des Bitkom zeigen, dass über 70 % der Wissensarbeiter privat ChatGPT, Claude oder Gemini nutzen — auch mit Firmendaten. Wer keine offizielle Plattform bereitstellt, verliert Kontrolle über sensible Informationen.
2. Der EU AI Act ist verbindlich. Seit August 2024 gestaffelt in Kraft, ab Februar 2025 mit ersten Pflichten (Art. 4: KI-Kompetenz), ab August 2026 mit den vollen Anforderungen für General-Purpose-AI-Modelle. Wer jetzt nicht handelt, riskiert Bußgelder bis 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes.
3. Produktivitätsgewinne sind messbar. McKinsey beziffert das Potenzial generativer KI auf 2,6 bis 4,4 Billionen US-Dollar jährlich — verteilt über Customer Operations, Marketing, Software-Engineering und R&D. Unternehmen, die KI strukturell verankern, ziehen davon.

Aus diesem Spannungsfeld ergibt sich die zentrale Aufgabe: KI muss heute als strategische Infrastruktur eingeführt werden, nicht als Tool-Sammlung.

Die fünf Phasen einer professionellen KI-Einführung

In unseren Projekten hat sich ein 5-Phasen-Modell bewährt, das wir hier verdichtet wiedergeben. Jede Phase hat ein klares Ergebnis und einen Übergabepunkt zur nächsten — keine endlosen Pilot-Schleifen.

Phase 1: Strategie & Use-Case-Mapping (Wochen 1–4)

Bevor ein einziges Tool ausgerollt wird, beantworten Sie:

• Welche drei Geschäftsbereiche profitieren am stärksten von KI? (Hinweis: meist Vertrieb, Customer Service, IT/Engineering)
• Welche Datenklassen dürfen verarbeitet werden? (öffentlich, intern, vertraulich, streng vertraulich)
• Welche Compliance-Rahmen greifen? (DSGVO, EU AI Act, branchenspezifisch wie BRAO, BDSG, Sozialgesetzbuch)
• Welcher Zielreifegrad wird in 12 Monaten angestrebt? (Bewusstsein → Experiment → Adoption → Integration → Transformation)

Das Ergebnis ist eine KI-Strategie mit priorisiertem Use-Case-Backlog, Budget-Rahmen und Governance-Skizze.

Phase 2: Plattformwahl (Wochen 4–8)

Die Plattformfrage entscheidet über Datensouveränität, Skalierbarkeit und Folgekosten. Hier die Bewertungsdimensionen, die in unseren Projekten den Ausschlag geben:

• Tenant-Hoheit: Läuft die Plattform im eigenen Cloud-Account des Kunden (Azure, Google Cloud, STACKIT) — oder im Multi-Tenant-SaaS des Anbieters? Nur ersteres gibt vollständige Kontrolle.
• Lizenzmodell: Per-User-SaaS-Lizenzen skalieren teuer und unvorhersehbar. Ein Festpreis-Aufbau in der eigenen Cloud, bei dem Sie Token-Kosten 1:1 vom Hyperscaler bezahlen, ist deutlich planbarer.
• Modell-Flexibilität: Multi-LLM (Azure OpenAI, Anthropic via Bedrock/Vertex, Gemini, Llama/Mistral/Aleph Alpha über STACKIT) statt Vendor-Lock-in.
• Integrationstiefe: SharePoint mit Berechtigungs-Spiegelung, Confluence, Salesforce, ERP — direkter Zugriff, nicht nur Dateiupload.
• Governance: Audit-Logs, Rollen, Policy-Enforcement, Cost-Tracking pro Team.
• Erweiterbarkeit: API, MCP-Server, eigene Agenten, Workflow-Engine (n8n) — im eigenen Stack betrieben, nicht hinter einer SaaS-API.

Genau hier setzt unsere CompanyGPT-Architektur an: Wir bauen die Plattform auf Open-Source-Basis (LibreChat) im Cloud-Tenant des Kunden auf — wahlweise in Azure, Google Cloud oder vollständig souverän auf STACKIT. Die Infrastruktur, die Daten und die Modellzugänge bleiben dabei vollständig beim Kunden. Drei Deployment-Varianten (STACKIT Only, STACKIT + Hyperscaler, Azure-nativ) decken alle Souveränitätsanforderungen ab — wir haben das im Detail im ES³-Artikel eingeordnet. Wer den direkten Vergleich zu SaaS-basierten Wettbewerbern sucht, findet ihn in unseren Artikeln zu Langdock, Logicc, neuland.ai und Telekom Business GPT.

Phase 3: Compliance & Governance (Wochen 6–12, parallel zu Phase 2)

Hier kommt der entscheidende Unterschied zwischen einem Projekt, das in der Revision durchfällt, und einem, das skaliert:

• DSGVO-Konformität: Auftragsverarbeitungsvertrag (AVV), Datenschutz-Folgenabschätzung (DSFA) für Hochrisikoanwendungen, Löschkonzept, Betroffenenrechte
• EU AI Act: Klassifikation der Anwendung (verboten, Hochrisiko, transparent, minimal), Konformitätsbewertung, Risk-Management-System nach Art. 9
• Interne Governance: KI-Beauftragter (Pflicht für viele Branchen), AI Acceptable Use Policy, Schulungspflicht nach Art. 4
• Branchenrecht: § 203 StGB (Berufsgeheimnis), BRAO (Anwälte), GenG (Genossenschaften), KWG (Banken), MDR (Medizinprodukte)

Wir haben dieses Thema mit unserem Beirat — Fachanwalt Andreas Noerr — in einem eigenen Whitepaper detailliert ausgearbeitet.

Phase 4: Pilot & Rollout (Wochen 8–24)

Der häufigste Fehler: Ein einziger Mega-Pilot mit 500 Personen, der nach drei Monaten im Sand verläuft. Besser bewährt:

1. Champions-Pilot (10–30 Personen): Power-User aus allen Abteilungen, intensives Onboarding, wöchentlicher Austausch
2. Adoption-Welle (100–300 Personen): Strukturierte Schulungen, branchenspezifische Use-Case-Bibliothek, Office-Hours
3. Vollausrollung (alle Mitarbeitenden): Self-Service-Onboarding, automatische Lizenzvergabe per SCIM, kontinuierliches Monitoring

Erfolgskennzahlen, die wir in jedem Projekt tracken:

• Wöchentlich aktive Nutzer (WAU) ÷ Lizenzen → Ziel: >60 % nach 90 Tagen
• Anzahl produktiver Use Cases → Ziel: >5 pro Abteilung nach 6 Monaten
• Eingesparte Zeit pro Nutzer → Ziel: >2 Stunden/Woche

Phase 5: Skalierung & Automation (ab Monat 6)

Aus Chat wird Agent, aus Tool wird Plattform. In dieser Phase:

• Branchenspezifische Assistenten für Vertrieb, HR, Legal, Customer Service
• Workflow-Automation über n8n und KI-Agenten
• RAG-Systeme auf Firmenwissen (SharePoint, Confluence, eigene Datenbanken)
• Eigene KI-Apps für regulierte Prozesse (Vertragsprüfung, Schadenbearbeitung, Antragsanalyse)
• Cost-Optimierung: Right-Sizing der Modelle, Caching, Prompt-Tuning

DSGVO und EU AI Act: Was wirklich gilt

Wir hören in jeder Erstberatung dieselben drei Mythen — und müssen sie zerlegen, bevor wir produktiv arbeiten können.

Mythos 1: „ChatGPT ist DSGVO-konform, wenn wir die kostenpflichtige Version nutzen."

Falsch. OpenAIs ChatGPT Team und Enterprise verarbeiten Daten zwar mit Datenschutzzusagen, der Server-Standort ist jedoch außerhalb der EU. Das schließt eine Nutzung nicht aus, erfordert aber einen ordnungsgemäßen Datentransfer auf Basis des EU-US Data Privacy Framework — und das schützt nicht gegen den US CLOUD Act. Für vertrauliche Daten (Geschäftsgeheimnisse, Personaldaten, Mandanteninformationen) ist deshalb eine EU-souveräne Plattform deutlich sicherer. Details in unserem Artikel ChatGPT für Unternehmen: Risiken & DSGVO-Status.

Mythos 2: „Der EU AI Act betrifft nur Anbieter, nicht uns als Nutzer."

Falsch. Der AI Act unterscheidet zwischen Anbietern (Provider), Betreibern (Deployer), Importeuren und Händlern. Als Unternehmen, das KI nutzt — etwa für automatisierte Entscheidungen im Recruiting oder Bonitätsprüfung — sind Sie Betreiber und haben eigene Pflichten: Risikomanagement, menschliche Aufsicht, Dokumentation, Schulung. Mehr dazu in unseren Artikeln zur KI-Verordnung und zum Inkrafttreten des AI Act.

Mythos 3: „Wir brauchen nur einen Datenschutzbeauftragten, das reicht für KI."

Falsch. DSGVO und EU AI Act überschneiden sich, sind aber nicht identisch. Der DSGVO-Beauftragte deckt personenbezogene Daten ab — der KI-Beauftragte (oder eine vergleichbare Funktion) deckt Risikomanagement, Modell-Governance und Mitarbeiterschulung nach Art. 4 AI Act ab. Wir bieten beides als Service, wenn Sie keine eigene Vollzeitstelle aufbauen wollen.

KI-Plattformen: Bauen, Kaufen oder im eigenen Tenant betreiben?

Drei Wege führen zur produktiven KI im Unternehmen — und wir empfehlen für die allermeisten Mittelständler und Konzerne den dritten.

Weg 1: Eigenbau auf Hyperscaler (Azure OpenAI, Google Vertex, AWS Bedrock)

Sweet Spot: Konzerne mit großen IT-Teams, die volle Kontrolle und tiefe Custom-Integrationen wollen — und die Kapazität haben, eine Plattform jahrelang weiterzuentwickeln.

Realität: Die ersten Wochen sind Euphorie, dann kommen Authentication, Logging, Cost Management, RAG, Agenten, UI — plötzlich baut man eine Plattform statt KI-Use-Cases zu produzieren. Wir haben das mehrfach gesehen und bei mehreren Kunden zurückentwickelt.

Weg 2: SaaS-Plattformen (Multi-Tenant)

Sweet Spot: Unternehmen, die schnell starten wollen und keine eigene Cloud-Strategie haben.

Realität: Funktioniert für Standard-Use-Cases. Drei Schwächen treten erfahrungsgemäß nach 6–12 Monaten auf: (1) Per-User-Lizenzen werden bei breiter Adoption teuer, (2) Token-Aufschläge der Anbieter (üblich: 10–30 %) summieren sich, (3) Daten und Konfiguration liegen in einem Mandanten beim Anbieter — bei Anbieterwechsel oder Insolvenz steht die Migration an. Unsere Vergleichsartikel zu Langdock, Logicc, neuland.ai und Telekom Business GPT zeigen die Detailunterschiede.

Weg 3: Plattform im eigenen Cloud-Tenant — unser empfohlener Weg

Sweet Spot: Unternehmen ab ca. 20 produktiven Nutzern, die Datenkontrolle, planbare Kosten und Erweiterbarkeit kombinieren wollen — vom Mittelstand bis zum DAX-Konzern.

Realität: Eine Open-Source-basierte Plattform (z. B. LibreChat als Kern) wird im Cloud-Tenant des Kunden installiert — Azure, Google Cloud oder STACKIT, je nach bestehender IT-Strategie. Modellzugänge laufen über die Hyperscaler-APIs des Kunden (Azure OpenAI, Vertex AI, Bedrock, STACKIT AI Model Serving), Token-Kosten gehen 1:1 an den Hyperscaler. Erweiterungen (eigene Agenten, MCP-Server, n8n-Workflows, branchenspezifische Apps) leben im selben Stack.

Genau das ist die CompanyGPT-Philosophie: keine SaaS-Lizenzen, keine Token-Aufschläge, keine Mandanten-Mitnutzung. Der Aufbau dauert wenige Tage, der Betrieb ist auf den eigenen Stack reduziert. Wir bringen als Microsoft-, Google-Cloud- und STACKIT-Partner die Erfahrung mit, das Setup nach Best Practices aufzubauen — und auf Wunsch übernehmen wir Betrieb, Updates und Erweiterungen.

Top-Use-Cases nach Abteilung

Hier verdichtet die Use Cases, die in unseren Projekten den größten ROI gebracht haben — eine ausführliche Liste finden Sie im Cluster-Artikel KI-Assistent für Firmen: 7 Use Cases.

Was kostet KI im Unternehmen wirklich?

Eine ehrliche TCO-Rechnung hängt fundamental am Lizenzmodell. Wir vergleichen zwei Wege für ein Unternehmen mit 1.000 Mitarbeitenden:

Modell A: SaaS-Plattform mit Per-User-Lizenz

• Plattform-Lizenzen: 15–35 € / Nutzer / Monat → 180.000–420.000 € jährlich
• Token-Aufschläge (oft 10–30 % auf API-Preise): 20.000–60.000 € jährlich
• Workflow-Module separat: ab ca. 6.500 €/Jahr
• Initial-Implementierung: 30.000–80.000 €
• Schulung & Change-Management: 20.000–80.000 € im ersten Jahr
• KI-Beauftragter (Service oder intern): 24.000–90.000 € jährlich
• Compliance-Audit: 15.000–40.000 € jährlich

Erstes Jahr: ca. 295.000–780.000 €, ab Jahr 2 ca. 245.000–620.000 €.

Modell B: Plattform im eigenen Cloud-Tenant (CompanyGPT-Ansatz)

• Plattform-Aufbau im Kunden-Tenant (einmalig, Festpreis): 30.000–90.000 €
• Cloud-Infrastruktur (Azure/GCP/STACKIT) für 1.000 MA: 20.000–60.000 € jährlich (vom Kunden direkt an Hyperscaler bezahlt)
• Token-Kosten zum Listenpreis des Hyperscalers (kein Aufschlag): 30.000–120.000 € jährlich, abhängig vom Use-Case-Mix
• Wartung, Updates, Optimierung (Managed Service durch innFactory): 24.000–60.000 € jährlich
• Schulung & Change-Management: 20.000–80.000 € im ersten Jahr
• KI-Beauftragter (Service oder intern): 24.000–90.000 € jährlich
• Compliance-Audit: 15.000–40.000 € jährlich

Erstes Jahr: ca. 163.000–540.000 €, ab Jahr 2 ca. 113.000–370.000 €.

Das spart bei 1.000 Nutzern typisch 100.000–250.000 € jährlich — und gibt zusätzlich vollständige Kontrolle über Daten, Konfiguration und Modellzugänge. Für ein Unternehmen mit 50–200 Nutzern ist der Unterschied prozentual noch größer, weil die SaaS-Lizenzen linear mit der Nutzerzahl skalieren, der Plattformaufbau im Tenant aber weitgehend fix ist.

Dem stehen — bei seriöser Adoption — Produktivitätsgewinne von 2–5 Stunden pro Mitarbeiter und Woche gegenüber, also bei 100 € Vollkosten ein Mehrwert von 10–25 Mio. Euro jährlich. Der Hebel liegt nicht in der Lizenz, sondern in der Adoption.

Häufig gestellte Fragen

Wie lange dauert eine KI-Einführung im Unternehmen? Vom Strategie-Workshop bis zum Vollausroll für 1.000 Mitarbeitende rechnen wir typisch 6–9 Monate. Erste produktive Use-Cases laufen bereits nach 4–6 Wochen.

Brauchen wir On-Premise oder reicht EU-Hosting? Für 90 % der Anwendungsfälle reicht EU-Hosting bei einem deutschen Anbieter mit AVV. On-Premise ist nur sinnvoll bei hochsensiblen Daten (kritische Infrastruktur, Verteidigung, ärztliche Schweigepflicht) oder bei Konzernrichtlinien, die es zwingend vorgeben.

Müssen wir einen KI-Beauftragten haben? Pflicht ist es nicht generell, aber Art. 4 EU AI Act fordert die Sicherstellung von KI-Kompetenz im Unternehmen. In regulierten Branchen (Banken, Versicherungen, Gesundheit) wird ein Verantwortlicher de facto unverzichtbar. Wir bieten das als KI-Beauftragter as a Service.

Welche Plattform passt für unseren Mittelstand? Das hängt von vier Faktoren ab: bestehende Cloud-Strategie (Microsoft, Google, STACKIT), Datenschutzbedarf, Branche und Adoption-Geschwindigkeit. Für die meisten Unternehmen ab 20 Nutzern ist eine Plattform im eigenen Cloud-Tenant — auf Open-Source-Basis betrieben — der beste Weg. Buchen Sie eine kostenlose Architektur-Beratung, in 60 Minuten haben wir eine fundierte Empfehlung.

Ab wie vielen Nutzern lohnt sich eine eigene KI-Plattform? CompanyGPT lohnt sich ab ca. 20 produktiven Nutzern. Darunter arbeiten viele Unternehmen mit ChatGPT Team oder Copilot, was für reine Chat-Funktionalität reicht. Sobald Sie SharePoint-Anbindung, Workflow-Automation oder branchenspezifische Anpassungen brauchen, lohnt sich der eigene Tenant.

Was ist der Unterschied zwischen ChatGPT Enterprise und CompanyGPT? ChatGPT Enterprise ist ein US-Hosted-Service mit DPF-basierter Datenübermittlung, Multi-Tenant-SaaS, fester Modell-Familie. CompanyGPT läuft im Cloud-Tenant des Kunden (Azure, Google Cloud oder STACKIT), nutzt Multi-LLM (Azure OpenAI, Anthropic Claude, Gemini, Llama/Mistral via STACKIT), kombiniert Chat mit Workflow-Automation (n8n) und ist über MCP frei erweiterbar. Details in unserem Artikel ChatGPT für Unternehmen: Risiken & DSGVO-Status.

Die nächsten Schritte

Wenn Sie bis hier gelesen haben, gehören Sie zu den Entscheidern, die KI strategisch angehen. Drei konkrete Optionen:

1. Architektur-Workshop (kostenlos, 60 Min): Wir analysieren Ihre IT-Landschaft und geben eine Plattform-Empfehlung — Termin buchen.
2. EU-AI-Act-Readiness-Check: In vier Wochen wissen Sie, wo Sie stehen und was bis zur vollen Anwendbarkeit zu tun ist — Service ansehen.
3. CompanyGPT-Demo: 30-Minuten-Live-Demo der Plattform mit Ihren eigenen Use-Cases — Demo anfragen.

Wir sind ein Beratungsunternehmen mit Tech- und Legal-DNA — Tobias Jonas (M.Sc. KI/Cloud), Fabian Artmann (M.Eng. Wirtschaftsingenieurwesen) und unser Beirat mit Andreas Noerr (Fachanwalt IT-Recht), Prof. Dr. Sebastian Bayerl (Angewandte KI) und Daniel Artmann (MdL Bayern). Mehr über uns.

Dieser Leitfaden wird vierteljährlich aktualisiert. Letzte Aktualisierung: 28. April 2026. Verfasst von Tobias Jonas, Co-CEO innFactory AI Consulting GmbH.