AI Gateway - Kostenkontrolle & Governance für agentische KI
Das innFactory AI Gateway ist die zentrale Enterprise-Security- und Governance-Schicht für Künstliche Intelligenz - eine einzige, OpenAI-kompatible API für alle Provider. Budgetieren Sie Teams, Nutzer und KI-Agenten, ordnen Sie jeden Token einer Kostenstelle zu und betreiben Sie echtes AI-FinOps: blitzschnell, DSGVO-konform und aus Deutschland.
Eigenständig betreibbar oder nahtlos in CompanyGPT integriert | Preisbasis: ai-prices.eu | Jetzt verfügbar
Was ist das AI Gateway?
Entwicklungsteams und KI-Agenten nutzen heute viele Provider parallel - jeder mit eigenem Key, eigener Abrechnung und eigenem Tracking. Das Ergebnis: zersplitterte Kosten, Budgetüberschreitungen und keine Governance. Das innFactory AI Gateway sitzt als zentraler Proxy zwischen Ihren Tools und allen KI-Providern. Eine URL, ein Key, volle Kontrolle - und jeder Token wird transparent zugeordnet.
Das Problem: KI-Wildwuchs in größeren Unternehmen
Je mehr Teams, Tools und Agenten KI nutzen, desto schneller verlieren Sie Überblick, Kontrolle und Budget.
Schlüssel-Wildwuchs & Schatten-KI
API-Keys liegen verstreut in .env-Dateien, Skripten und CI-Pipelines. Niemand weiß, wer welchen Provider nutzt – und jeder geleakte Key ist ein Sicherheits- und Kostenrisiko.
Kosten ohne Zuordnung
Am Monatsende kommt eine Sammelrechnung von OpenAI, Anthropic & Google. Welches Team, welches Projekt, welcher Kunde sie verursacht hat? Niemand kann es sauber beantworten.
Keine Governance, Compliance-Risiko
Welche Modelle darf wer nutzen? Wird die DSGVO eingehalten? Gibt es ein Audit-Log? Ohne zentrale Schicht bleibt das offen – ein echtes Risiko nach EU AI-Act.
Agenten skalieren die Kosten
Autonome KI-Agenten feuern tausende Requests ab. Ohne harte Budgets pro Agent verbrennt eine einzige Schleife über Nacht ein ganzes Monatsbudget.
Genau dafür gibt es das AI Gateway – eine zentrale Schicht, durch die jeder KI-Zugriff läuft.
So fließen Ihre Daten durch das Gateway
Das Gateway ist Ihre zentrale Enterprise-Security- und Governance-Schicht für KI: Nutzer, Agenten und Coding-Tools sprechen eine OpenAI-kompatible API. Das Gateway authentifiziert, budgetiert, prüft per Guardrails, protokolliert — und routet zum passenden Modell.
Warum ein eigenes AI Gateway?
Kostenkontrolle, Governance und Geschwindigkeit - ohne Vendor-Lock-in
AI-FinOps
Jeder Request wird erfasst, bewertet und einer Kostenstelle zugeordnet. Endlich wissen Sie, welches Team, welcher Nutzer und welcher Agent welche KI-Kosten verursacht.
Rust-Performance
In Rust gebaut - derselben Sprache, in der auch AWS viele seiner Hochlast-Dienste entwickelt: ein einziges Binary, P95-Overhead unter 50 ms und über 700 Anfragen pro Sekunde je Instanz. Geschwindigkeit, die Ihre Agenten nicht ausbremst.
Hierarchische Budgets
Setzen Sie Limits auf Organisations-, Team-, Nutzer-, Key- und Agentenebene. Ist das Budget erschöpft, stoppt das Gateway automatisch - keine bösen Überraschungen.
Multi-Provider, eine API
Eine OpenAI-kompatible Schnittstelle für 10+ Provider - inklusive Vertex AI im EU-Multi-Region-Endpoint. Modelle wechseln per Alias, ohne dass Ihre Tools oder Agenten umkonfiguriert werden müssen.
Enterprise-Security-Schicht
Das Gateway ist die zentrale Sicherheitsschicht zwischen Tools und LLMs: policy-basierte Guardrails prüfen Anfragen und Antworten, rollenbasierte Rechte über Microsoft Entra ID, Provider-Keys sicher im Azure Key Vault und ein lückenloses Audit-Log für jede Aktivität.
Souverän & DSGVO-konform
Betrieb in Ihrer Cloud oder in deutschen, souveränen Rechenzentren (STACKIT). Ihre Prompts und Daten bleiben unter Ihrer Kontrolle - EU AI-Act inklusive.
Transparente Preise - in Euro, automatisch aktuell
Modelle werden automatisch von Ihren Providern eingelesen. Die Token-Preise basieren auf unserem europäischen Preiskatalog ai-prices.eu und lassen sich jederzeit per Klick aktualisieren oder individuell überschreiben.
- Input-, Cache- und Output-Preise pro Million Tokens - je Modell sichtbar
- Echte Kosten in Euro, nicht in US-Dollar geschätzt
- Preis-Updates direkt aus den Provider-APIs und ai-prices.eu
- Eigene Aufschläge und interne Verrechnungspreise pro Kostenstelle möglich
AI-FinOps: Kostenstellen & Code-Profile
Token-FinOps in der Praxis: Ordnen Sie KI-Kosten dem zu, wo sie entstehen - bis auf den einzelnen Kunden
Jeder Token landet auf der richtigen Kostenstelle
Legen Sie Kostenstellen für Abteilungen, Projekte oder einzelne Kunden an - z. B. companygpt, media-innfactory26 oder Kunde A. Jeder API-Key bucht auf genau eine Kostenstelle, ein optionales Monats- oder Wochenlimit stoppt weitere Nutzung automatisch.
- Pool- oder Per-User-Modus je Kostenstelle
- Monats- & Wochen-Caps mit Live-Verbrauchsanzeige
- Per-Model-Caps und Sub-Limits für feingranulare Steuerung
- Saubere Weiterberechnung an Kunden - nachvollziehbar bis zum Token
Kostenstellen statt Bauchgefühl
Legen Sie Kostenstellen für Abteilungen, Projekte oder Kunden an. Jeder Token wird automatisch zugeordnet - die Grundlage für saubere interne Verrechnung und Weiterberechnung an Kunden.
Code-Profile für Entwickler
Entwickler arbeiten mit Code-Profilen, die direkt auf eine Kostenstelle buchen. So landen die Tokens der Entwicklung automatisch beim richtigen Kundenprojekt - AI-FinOps ohne manuelle Zettelwirtschaft.
User-Scoping - anders als LiteLLM
Nutzer authentifizieren sich über Microsoft Entra ID und werden granular gescopt: erlaubte Modelle, Budgets und Rate-Limits pro Person. Kein gemeinsamer Sammel-Key mehr für das ganze Team.
Budgets für KI-Agenten
Im agentischen Unternehmen verbrauchen nicht nur Menschen Tokens, sondern auch autonome Agenten. Geben Sie jedem Agenten ein eigenes Budget, eigene Modelle und eigene Limits - sicher und nachvollziehbar.
Token-Budgets, die kaskadieren
Limits greifen von oben nach unten - das Gateway blockt, bevor es teuer wird
Ein Gateway vor allen KI-Desktop-Tools
Hängen Sie OpenCode, Claude Code, Codex, Cowork und VS Code hinter das Gateway - zentral kontrolliert, budgetiert und einer Kostenstelle zugeordnet. Auch Claude lässt sich dabei über Third-Party-Provider wie AWS Bedrock oder Google Vertex AI beziehen: Sie governen Ihren Agent-Harness über das Gateway und behalten die Kosten im Griff. Fertige Setups, in Minuten konfiguriert.
OpenCode
Terminal-Coding-Agent. Provider, Modelle, Aliase und Agenten in einer opencode.json bündeln.
Claude Code
Anthropics agentische CLI. Gateway-Modelle auf Claudes Rollen (main, background, opus, sonnet, haiku) mappen.
Codex
OpenAI Codex CLI. Ein Responses-API-fähiges Modell wählen, das den Agenten antreibt.
Cowork
Cowork Desktop-Agent. Modelle auto-erkennen, Auth-Schema wählen und macOS-/Windows-Config ausliefern.
VS Code · Continue
Continue.dev-Erweiterung. Modelle auf Chat-, Edit-, Apply- und Autocomplete-Rollen abbilden.
VS Code · Copilot
GitHub Copilot Custom-Modelle (BYOK). API-Typ je Modell wählen (chat / responses / messages).
Plus MCP-Server-Registry, Agent-to-Agent-Protokoll (A2A) und Passthrough-Ziele für eigene Endpunkte.
Eingebauter Playground - sofort testen
Probieren Sie jedes Modell, jeden Alias und jeden Router direkt im Gateway aus - mit einem konkreten API-Key, sodass Berechtigungen, Budget und Kostenstelle exakt wie im Echtbetrieb greifen.
- Chat-, Bild- und TTS-Modus in einer Oberfläche
- System-Prompt, Temperatur und Max-Tokens live einstellen
- Als
cURLexportieren und 1:1 in Ihre App übernehmen
Warum nicht einfach LiteLLM oder OpenRouter?
Routing und Modell-Zugriff können viele. Worauf es im Unternehmen ankommt, ist die Kontroll-, Governance- und FinOps-Schicht darüber - genau hier setzt das AI Gateway an.
| Worauf es im Unternehmen ankommt | LiteLLM / OpenRouter & Co. | innFactory AI Gateway |
|---|---|---|
| Ein Kontrollpunkt vor allen KI-Tools - Claude Code, Codex, Cowork, VS Code, OpenCode & eigene Apps laufen über das Gateway | pro Tool selbst verdrahten | ✓ fertige Setups, 1 Endpunkt |
| Kosten je Kunde, Projekt & Kostenstelle sauber abrechnen und weiterberechnen | nicht vorgesehen | ✓ Kostenstellen + Code-Profile |
| Budget & Limit je Team, Nutzer, API-Key und KI-Agent | nur grob / teilweise | ✓ kaskadierend, hartes Stopp-Limit |
| Zugriff & Identität je Mitarbeiter (SSO, rollenbasiert) | eingeschränkt | ✓ Entra ID / Keycloak / Cognito |
| Audit-Log, Governance & EU-AI-Act-Konformität | Eigenleistung | ✓ lückenlos, DSGVO, souverän in DE |
| Stabil bei tausenden Agenten-Anfragen - ohne zum Flaschenhals zu werden | je nach Setup | ✓ < 50 ms Overhead, 700+ Anfragen/s |
| Betrieb, Support & Verantwortung | Self-Hosted / DIY | ✓ Managed aus Deutschland + Rollout |
Betrieb & Integration
Eigenständig oder nativ in CompanyGPT - betrieben als Container in jeder Cloud
Eigenständiges Produkt
Setzen Sie das AI Gateway als zentrale Schaltstelle für alle KI-Zugriffe Ihrer Entwicklungsteams, CI/CD-Pipelines und Agenten ein - ganz ohne CompanyGPT. Eine URL, ein Key, volle FinOps-Transparenz.
Nativ in CompanyGPT integriert
Das Gateway ist nativ in unser CompanyGPT integriert: Kunden, die beides einsetzen, arbeiten nahtlos damit - dieselben Budgets, Kostenstellen und Guardrails für Chat, Agenten und Addons.
Läuft überall - einfach als Container
Sie sind nicht an einen Anbieter gebunden: Das Gateway wird als Docker-Container in Ihrer eigenen Umgebung betrieben.
Container (Docker)
Ein einziges, schlankes Docker-Image - schnell ausgerollt, einfach skaliert und überall lauffähig, wo Container laufen.
Datenbank
Speichert Konfiguration und Nutzungsdaten in Azure Cosmos DB oder MongoDB - Sie wählen, was zu Ihrer Cloud passt.
Identity / SSO
Anbindung an Ihren Identity-Provider: Keycloak, Microsoft Entra ID oder AWS Cognito - rollenbasiert und SSO-fähig.
Jede Cloud
Läuft auf AWS, STACKIT, Microsoft Azure und Google Cloud - in der Region Ihrer Wahl, auch DSGVO-konform und souverän in Deutschland.
Wir helfen beim Rollout in Ihrer Cloud
Gemeinsam mit der innFactory GmbH - offizieller Microsoft Cloud Solution Provider (CSP) - richten wir das Gateway in Ihrer Umgebung ein. Kein eigenes Cloud-Konto? Wir liefern die passende Azure Subscription für Ihr Unternehmen - inklusive Abrechnung, Support und optionaler Wartung.
Mehr als ein LLM-Proxy
Das Gateway governt nicht nur Modell-Aufrufe, sondern auch Tool-Zugriffe und ganze Agenten-Workflows
MCP-Proxy mit Audit
Das Gateway kann auch als MCP-Proxy laufen: MCP-Verbindungen Ihrer Agenten werden durch dieselbe Schicht geführt. Damit wird jeder Tool-Aufruf auditierbar - wer hat wann welches Werkzeug mit welchen Parametern genutzt - und unterliegt denselben Richtlinien und Budgets wie die Modell-Aufrufe.
Flow Builder
Mit dem integrierten Flow Builder bauen Sie Abläufe direkt über dem Gateway: Modelle, Prompts und Tools zu wiederverwendbaren Flows verketten - inklusive Kostenstellen-Zuordnung und Budgets, ohne zusätzliche Infrastruktur.
Agent-Harness governen
Agent-Harnesses wie Claude Code laufen komplett über das Gateway - Claude dabei auf Wunsch über Third-Party-Provider wie AWS Bedrock oder Google Vertex AI. Sie steuern zentral, welche Modelle und Tools Ihre Agenten nutzen dürfen, und kontrollieren die Kosten pro Nutzer, Team und Kostenstelle.
Frontier-Modelle ab Tag 1
Claude Fable 5.1, Mythos 5.1 und Gemini 3.8 Flash waren am Release-Tag routbar und bepreist, weil die Adapter Modellfamilien erkennen. Modellspezifische API-Brüche - etwa die von Fable 5.1 abgelehnte erzwungene Tool-Wahl oder das bei Gemini 3.7+ entfallene Thinking-Level minimal - fängt das Gateway ab, ohne dass Clients angepasst werden müssen.
Auto-Router nach Prompt-Komplexität
Ein auto-Modell bewertet jeden Prompt und wählt die passende Stufe (einfach, mittel, komplex, Reasoning) - ausschließlich aus den Modellen, die der Nutzer laut Access Group verwenden darf. Dazu Aliase, Cross-Model-Fallbacks, ein optionaler Response-Cache und pro Antwort der Header x-aigateway-response-cost mit dem abgerechneten Betrag.
Realtime, Voice & MCP-Toolsets
OpenAI Realtime, Gemini Live (auch über den Vertex-EU-Endpoint) und ElevenLabs laufen über /v1/realtime, Audio wird nach Modalität abgerechnet. Für MCP gibt es benannte Toolsets als Zugriffsebene, Per-User-Secrets und OAuth-Flows - jeder Tool-Aufruf bleibt auditierbar und budgetiert.
Lizenzkosten
Monatliche Lizenz, gestaffelt nach Nutzerzahl - Betrieb in Ihrer Infrastruktur, Token-Kosten direkt bei Ihren Providern
10 % Rabatt auf die Lizenz, wenn Sie Ihre KI-Modelle über das Reselling der innFactory GmbH beziehen | Alle Preise zzgl. 19 % USt.
Häufige Fragen
Alles Wichtige zum AI Gateway, Verfügbarkeit und AI-FinOps
Was kostet das AI Gateway?
Die Lizenz kostet monatlich gestaffelt nach Nutzerzahl: 299 EUR bis 50 Nutzer, 399 EUR bis 150, 499 EUR bis 500, 599 EUR bis 1.000 und 749 EUR ab 1.000 Nutzern (zzgl. USt.). Beziehen Sie Ihre KI-Modelle über das Reselling der innFactory GmbH, erhalten Sie 10 % Rabatt auf die Lizenz. Das Gateway läuft in Ihrer Infrastruktur; Token-Kosten rechnen Sie direkt mit Ihren Providern ab.
Was ist ein AI Gateway?
Ein AI Gateway ist ein zentraler Proxy zwischen Ihren Anwendungen, Tools und KI-Agenten und den KI-Providern (OpenAI, Anthropic, Google u. a.). Es bündelt alle KI-Zugriffe hinter einer einzigen, OpenAI-kompatiblen API und übernimmt Authentifizierung, Routing, Budgets, Guardrails und Kostenabrechnung - die zentrale Enterprise-Security- und FinOps-Schicht für KI im Unternehmen.
Wann braucht ein Unternehmen ein AI Gateway?
Sobald mehr als ein Team, mehrere Tools oder autonome KI-Agenten KI nutzen. Dann fehlen ohne zentrale Schicht Kostenkontrolle, Zuordnung und Governance. Ein AI Gateway verhindert Schatten-KI, Budgetüberschreitungen und Compliance-Risiken - und macht KI-Kosten pro Team, Nutzer, Agent und Kunde nachvollziehbar.
Ist das AI Gateway eine Enterprise-Security-Schicht?
Ja. Jeder KI-Zugriff läuft über das Gateway und wird dort authentifiziert (Microsoft Entra ID), per Guardrails geprüft, rollenbasiert autorisiert und lückenlos protokolliert. Provider-Keys liegen sicher im Azure Key Vault, Daten bleiben in der EU. So wird das Gateway zur zentralen Sicherheits- und Governance-Schicht zwischen Ihren Tools und den LLMs.
Wann ist das AI Gateway verfügbar?
Das AI Gateway ist seit August 2026 verfügbar - in Rust entwickelt und als einzelnes Container-Binary ausgeliefert. Wir richten es gemeinsam mit Ihnen ein, eigenständig in Ihrer Infrastruktur oder integriert in CompanyGPT. Fragen Sie einfach eine Demo an.
Brauche ich CompanyGPT, um das Gateway zu nutzen?
Nein. Das AI Gateway ist ein eigenständiges Produkt für alle KI-Zugriffe Ihrer Tools, Pipelines und Agenten. Wenn Sie bereits CompanyGPT nutzen, lässt es sich nahtlos als gemeinsame Kostenkontroll-Schicht anbinden.
Brauche ich das AI Gateway, wenn ich CompanyGPT einsetze?
Nicht zwingend. Das AI Gateway ist vollständig kompatibel mit CompanyGPT, aber kein Muss: Wer kein zentrales API-Key-Management und keine Kostenstellen-Zuordnung benötigt, kann CompanyGPT auch ohne Gateway betreiben. Das Gateway ist ein eigenständiges Produkt und lohnt sich vor allem dann, wenn mehrere Teams, Anwendungen oder Agenten über verschiedene Modellanbieter hinweg abgerechnet und kontrolliert werden sollen.
Wie unterscheidet sich das Gateway von LiteLLM, OpenRouter & Portkey?
LiteLLM (Open-Source-Proxy), OpenRouter (großer Modell-Katalog) und Portkey (Control Plane) sind starke Tools für Routing und Zugriff. Unser Gateway setzt auf die Governance- und FinOps-Schicht darüber: echtes User-Scoping über Entra ID, hierarchische Budgets, Kostenstellen & Code-Profile, Preise in Euro (ai-prices.eu) und eine in Rust gebaute, schnelle Engine - als gemanagter Service aus Deutschland, nativ mit CompanyGPT verzahnt.
Welche Provider und Modelle werden unterstützt?
Über 10 Provider-Adapter: OpenAI, Azure OpenAI, Anthropic Claude, Google Gemini und Vertex AI (inklusive EU-Multi-Region-Endpoint), Mistral, AWS Bedrock, STACKIT, ElevenLabs, Ollama und eigene OpenAI-kompatible Endpunkte. Modelle werden automatisch eingelesen, Preise stammen aus ai-prices.eu. Neue Modelle wie Claude Fable 5.1, Claude Mythos 5.1 oder Gemini 3.8 Flash sind ab Tag 1 nutzbar, weil die Adapter Modellfamilien statt einzelner Versionen erkennen.
Wie schnell ist das Gateway wirklich?
Durch die Rust-Implementierung liegt der zusätzliche Latenz-Overhead im P95 unter 50 ms, Budget-Prüfungen unter 10 ms. Eine einzelne Instanz schafft über 700 Anfragen pro Sekunde - Ihre Agenten merken das Gateway praktisch nicht.
Wo werden meine Daten verarbeitet?
Das Gateway läuft in Ihrer Cloud oder in souveränen deutschen Rechenzentren (STACKIT). Prompts und Daten bleiben unter Ihrer Kontrolle, DSGVO- und EU-AI-Act-konform. API-Keys werden nur als Hash gespeichert, Provider-Credentials liegen im Azure Key Vault.
Was bedeutet AI-FinOps konkret?
AI-FinOps bedeutet, KI-Kosten so zu steuern wie Cloud-Kosten: messen, zuordnen, budgetieren und optimieren. Mit Kostenstellen, Code-Profilen und kaskadierenden Budgets ordnen Sie jeden Token einem Team, Nutzer, Agenten oder Kunden zu.
Unterstützt das Gateway die neuesten Modelle wie Claude Fable 5.1 oder Gemini 3.8 Flash?
Ja. Claude Fable 5.1 und Mythos 5.1 (1. September 2026) sowie Gemini 3.8 Flash (2. September 2026) waren ab Tag 1 routbar und bepreist. Das Gateway fängt außerdem modellspezifische API-Änderungen ab: Für Fable 5.1 wird eine erzwungene Tool-Wahl (tool_choice any oder tool), die das Modell mit 400 ablehnt, automatisch auf auto abgeschwächt, und für Gemini 3.7+ wird das entfernte Thinking-Level minimal auf low angehoben. Ihre Clients müssen dafür nichts ändern.
Kann das Gateway Anfragen automatisch an das passende Modell routen?
Ja. Ein Auto-Router bewertet die Komplexität jedes Prompts und wählt eine Stufe (einfach, mittel, komplex, Reasoning) aus den Modellen, die der jeweilige Nutzer laut Access Group nutzen darf - nie ein teureres verbotenes Modell. Zusätzlich gibt es Aliase, Cross-Model-Fallbacks und einen optionalen Response-Cache pro Mandant. Die Routing-Entscheidung wird mit Begründung protokolliert.
Wie erkenne ich die Kosten einer einzelnen Anfrage?
Jede nicht-gestreamte Antwort trägt den Header x-aigateway-response-cost mit dem abgerechneten Betrag in USD (sechs Nachkommastellen). Im Dashboard sehen Sie Verbrauch und Kosten pro Nutzer, Team, Kostenstelle und Modell in Euro, inklusive Wechselkurs, Budget-Auslastung und CSV-Export - auch für MCP-Tool-Aufrufe.
Unterstützt das Gateway Sprach- und Realtime-Modelle?
Ja. Über /v1/realtime laufen OpenAI Realtime, Gemini Live (auch über den Vertex-EU-Endpoint für Datenresidenz) und ElevenLabs; Text-to-Speech und Transkription (Whisper, Gemini, ElevenLabs Scribe) werden über die OpenAI-kompatiblen Audio-Endpunkte bedient. Audio wird nach Modalität separat abgerechnet, damit Voice-Sessions korrekt auf Budgets angerechnet werden.
AI Gateway für Ihr Unternehmen
Was Sie bekommen:
- Eine OpenAI-kompatible API für 9+ KI-Provider
- In Rust gebaut - P95-Overhead unter 50 ms
- AI-FinOps: Kostenstellen, Code-Profile, Token-Attribution
- Kaskadierende Budgets für Org, Team, Nutzer, Key & Agent
- User-Scoping über Microsoft Entra ID (anders als LiteLLM)
- Guardrails, Audit-Log, MCP-Registry & A2A-Protokoll
- Preise in Euro auf Basis von ai-prices.eu
- Eigenständig oder integriert in CompanyGPT
AI Gateway lizenzieren
pro Monat
Gestaffelt nach Nutzerzahl, bis 749 EUR/Monat ab 1.000 Nutzern.
10 % Rabatt bei Modellbezug über das Reselling der innFactory GmbH. Alle Preise zzgl. USt.
Demo anfragenBereit für KI-Kostenkontrolle?
Vereinbaren Sie ein Gespräch und erfahren Sie, wie das AI Gateway Ihre KI-Kosten transparent und steuerbar macht.