AI Gateway - Kostenkontrolle & Governance für agentische KI
Das innFactory AI Gateway ist die zentrale Enterprise-Security- und Governance-Schicht für Künstliche Intelligenz - eine einzige, OpenAI-kompatible API für alle Provider. Budgetieren Sie Teams, Nutzer und KI-Agenten, ordnen Sie jeden Token einer Kostenstelle zu und betreiben Sie echtes AI-FinOps: blitzschnell, DSGVO-konform und aus Deutschland.
Eigenständig betreibbar oder nahtlos in CompanyGPT integriert | Preisbasis: ai-prices.eu | Verfügbar ab August 2026
Was ist das AI Gateway?
Entwicklungsteams und KI-Agenten nutzen heute viele Provider parallel - jeder mit eigenem Key, eigener Abrechnung und eigenem Tracking. Das Ergebnis: zersplitterte Kosten, Budgetüberschreitungen und keine Governance. Das innFactory AI Gateway sitzt als zentraler Proxy zwischen Ihren Tools und allen KI-Providern. Eine URL, ein Key, volle Kontrolle - und jeder Token wird transparent zugeordnet.
Das Problem: KI-Wildwuchs in größeren Unternehmen
Je mehr Teams, Tools und Agenten KI nutzen, desto schneller verlieren Sie Überblick, Kontrolle und Budget.
Schlüssel-Wildwuchs & Schatten-KI
API-Keys liegen verstreut in .env-Dateien, Skripten und CI-Pipelines. Niemand weiß, wer welchen Provider nutzt – und jeder geleakte Key ist ein Sicherheits- und Kostenrisiko.
Kosten ohne Zuordnung
Am Monatsende kommt eine Sammelrechnung von OpenAI, Anthropic & Google. Welches Team, welches Projekt, welcher Kunde sie verursacht hat? Niemand kann es sauber beantworten.
Keine Governance, Compliance-Risiko
Welche Modelle darf wer nutzen? Wird die DSGVO eingehalten? Gibt es ein Audit-Log? Ohne zentrale Schicht bleibt das offen – ein echtes Risiko nach EU AI-Act.
Agenten skalieren die Kosten
Autonome KI-Agenten feuern tausende Requests ab. Ohne harte Budgets pro Agent verbrennt eine einzige Schleife über Nacht ein ganzes Monatsbudget.
Genau dafür gibt es das AI Gateway – eine zentrale Schicht, durch die jeder KI-Zugriff läuft.
So fließen Ihre Daten durch das Gateway
Das Gateway ist Ihre zentrale Enterprise-Security- und Governance-Schicht für KI: Nutzer, Agenten und Coding-Tools sprechen eine OpenAI-kompatible API. Das Gateway authentifiziert, budgetiert, prüft per Guardrails, protokolliert — und routet zum passenden Modell.
Warum ein eigenes AI Gateway?
Kostenkontrolle, Governance und Geschwindigkeit - ohne Vendor-Lock-in
AI-FinOps
Jeder Request wird erfasst, bewertet und einer Kostenstelle zugeordnet. Endlich wissen Sie, welches Team, welcher Nutzer und welcher Agent welche KI-Kosten verursacht.
Rust-Performance
In Rust gebaut - derselben Sprache, in der auch AWS viele seiner Hochlast-Dienste entwickelt: ein einziges Binary, P95-Overhead unter 50 ms und über 700 Anfragen pro Sekunde je Instanz. Geschwindigkeit, die Ihre Agenten nicht ausbremst.
Hierarchische Budgets
Setzen Sie Limits auf Organisations-, Team-, Nutzer-, Key- und Agentenebene. Ist das Budget erschöpft, stoppt das Gateway automatisch - keine bösen Überraschungen.
Multi-Provider, eine API
Eine OpenAI-kompatible Schnittstelle für 9+ Provider. Modelle wechseln per Alias, ohne dass Ihre Tools oder Agenten umkonfiguriert werden müssen.
Enterprise-Security-Schicht
Das Gateway ist die zentrale Sicherheitsschicht zwischen Tools und LLMs: policy-basierte Guardrails prüfen Anfragen und Antworten, rollenbasierte Rechte über Microsoft Entra ID, Provider-Keys sicher im Azure Key Vault und ein lückenloses Audit-Log für jede Aktivität.
Souverän & DSGVO-konform
Betrieb in Ihrer Cloud oder in deutschen, souveränen Rechenzentren (STACKIT). Ihre Prompts und Daten bleiben unter Ihrer Kontrolle - EU AI-Act inklusive.
Transparente Preise - in Euro, automatisch aktuell
Modelle werden automatisch von Ihren Providern eingelesen. Die Token-Preise basieren auf unserem europäischen Preiskatalog ai-prices.eu und lassen sich jederzeit per Klick aktualisieren oder individuell überschreiben.
- Input-, Cache- und Output-Preise pro Million Tokens - je Modell sichtbar
- Echte Kosten in Euro, nicht in US-Dollar geschätzt
- Preis-Updates direkt aus den Provider-APIs und ai-prices.eu
- Eigene Aufschläge und interne Verrechnungspreise pro Kostenstelle möglich
AI-FinOps: Kostenstellen & Code-Profile
Token-FinOps in der Praxis: Ordnen Sie KI-Kosten dem zu, wo sie entstehen - bis auf den einzelnen Kunden
Jeder Token landet auf der richtigen Kostenstelle
Legen Sie Kostenstellen für Abteilungen, Projekte oder einzelne Kunden an - z. B. companygpt, media-innfactory26 oder Kunde A. Jeder API-Key bucht auf genau eine Kostenstelle, ein optionales Monats- oder Wochenlimit stoppt weitere Nutzung automatisch.
- Pool- oder Per-User-Modus je Kostenstelle
- Monats- & Wochen-Caps mit Live-Verbrauchsanzeige
- Per-Model-Caps und Sub-Limits für feingranulare Steuerung
- Saubere Weiterberechnung an Kunden - nachvollziehbar bis zum Token
Kostenstellen statt Bauchgefühl
Legen Sie Kostenstellen für Abteilungen, Projekte oder Kunden an. Jeder Token wird automatisch zugeordnet - die Grundlage für saubere interne Verrechnung und Weiterberechnung an Kunden.
Code-Profile für Entwickler
Entwickler arbeiten mit Code-Profilen, die direkt auf eine Kostenstelle buchen. So landen die Tokens der Entwicklung automatisch beim richtigen Kundenprojekt - AI-FinOps ohne manuelle Zettelwirtschaft.
User-Scoping - anders als LiteLLM
Nutzer authentifizieren sich über Microsoft Entra ID und werden granular gescopt: erlaubte Modelle, Budgets und Rate-Limits pro Person. Kein gemeinsamer Sammel-Key mehr für das ganze Team.
Budgets für KI-Agenten
Im agentischen Unternehmen verbrauchen nicht nur Menschen Tokens, sondern auch autonome Agenten. Geben Sie jedem Agenten ein eigenes Budget, eigene Modelle und eigene Limits - sicher und nachvollziehbar.
Token-Budgets, die kaskadieren
Limits greifen von oben nach unten - das Gateway blockt, bevor es teuer wird
Ein Gateway vor allen KI-Desktop-Tools
Hängen Sie OpenCode, Claude Code, Codex, Cowork und VS Code hinter das Gateway - zentral kontrolliert, budgetiert und einer Kostenstelle zugeordnet. Fertige Setups, in Minuten konfiguriert.
OpenCode
Terminal-Coding-Agent. Provider, Modelle, Aliase und Agenten in einer opencode.json bündeln.
Claude Code
Anthropics agentische CLI. Gateway-Modelle auf Claudes Rollen (main, background, opus, sonnet, haiku) mappen.
Codex
OpenAI Codex CLI. Ein Responses-API-fähiges Modell wählen, das den Agenten antreibt.
Cowork
Cowork Desktop-Agent. Modelle auto-erkennen, Auth-Schema wählen und macOS-/Windows-Config ausliefern.
VS Code · Continue
Continue.dev-Erweiterung. Modelle auf Chat-, Edit-, Apply- und Autocomplete-Rollen abbilden.
VS Code · Copilot
GitHub Copilot Custom-Modelle (BYOK). API-Typ je Modell wählen (chat / responses / messages).
Plus MCP-Server-Registry, Agent-to-Agent-Protokoll (A2A) und Passthrough-Ziele für eigene Endpunkte.
Eingebauter Playground - sofort testen
Probieren Sie jedes Modell, jeden Alias und jeden Router direkt im Gateway aus - mit einem konkreten API-Key, sodass Berechtigungen, Budget und Kostenstelle exakt wie im Echtbetrieb greifen.
- Chat-, Bild- und TTS-Modus in einer Oberfläche
- System-Prompt, Temperatur und Max-Tokens live einstellen
- Als
cURLexportieren und 1:1 in Ihre App übernehmen
Warum nicht einfach LiteLLM oder OpenRouter?
Routing und Modell-Zugriff können viele. Worauf es im Unternehmen ankommt, ist die Kontroll-, Governance- und FinOps-Schicht darüber - genau hier setzt das AI Gateway an.
| Worauf es im Unternehmen ankommt | LiteLLM / OpenRouter & Co. | innFactory AI Gateway |
|---|---|---|
| Ein Kontrollpunkt vor allen KI-Tools - Claude Code, Codex, Cowork, VS Code, OpenCode & eigene Apps laufen über das Gateway | pro Tool selbst verdrahten | ✓ fertige Setups, 1 Endpunkt |
| Kosten je Kunde, Projekt & Kostenstelle sauber abrechnen und weiterberechnen | nicht vorgesehen | ✓ Kostenstellen + Code-Profile |
| Budget & Limit je Team, Nutzer, API-Key und KI-Agent | nur grob / teilweise | ✓ kaskadierend, hartes Stopp-Limit |
| Zugriff & Identität je Mitarbeiter (SSO, rollenbasiert) | eingeschränkt | ✓ Entra ID / Keycloak / Cognito |
| Audit-Log, Governance & EU-AI-Act-Konformität | Eigenleistung | ✓ lückenlos, DSGVO, souverän in DE |
| Stabil bei tausenden Agenten-Anfragen - ohne zum Flaschenhals zu werden | je nach Setup | ✓ < 50 ms Overhead, 700+ Anfragen/s |
| Betrieb, Support & Verantwortung | Self-Hosted / DIY | ✓ Managed aus Deutschland + Rollout |
Betrieb & Integration
Eigenständig oder nativ in CompanyGPT - betrieben als Container in jeder Cloud
Eigenständiges Produkt
Setzen Sie das AI Gateway als zentrale Schaltstelle für alle KI-Zugriffe Ihrer Entwicklungsteams, CI/CD-Pipelines und Agenten ein - ganz ohne CompanyGPT. Eine URL, ein Key, volle FinOps-Transparenz.
Nativ in CompanyGPT integriert
Das Gateway ist nativ in unser CompanyGPT integriert: Kunden, die beides einsetzen, arbeiten nahtlos damit - dieselben Budgets, Kostenstellen und Guardrails für Chat, Agenten und Addons.
Läuft überall - einfach als Container
Sie sind nicht an einen Anbieter gebunden: Das Gateway wird als Docker-Container in Ihrer eigenen Umgebung betrieben.
Container (Docker)
Ein einziges, schlankes Docker-Image - schnell ausgerollt, einfach skaliert und überall lauffähig, wo Container laufen.
Datenbank
Speichert Konfiguration und Nutzungsdaten in Azure Cosmos DB oder MongoDB - Sie wählen, was zu Ihrer Cloud passt.
Identity / SSO
Anbindung an Ihren Identity-Provider: Keycloak, Microsoft Entra ID oder AWS Cognito - rollenbasiert und SSO-fähig.
Jede Cloud
Läuft auf AWS, STACKIT, Microsoft Azure und Google Cloud - in der Region Ihrer Wahl, auch DSGVO-konform und souverän in Deutschland.
Wir helfen beim Rollout in Ihrer Cloud
Gemeinsam mit der innFactory GmbH - offizieller Microsoft Cloud Solution Provider (CSP) - richten wir das Gateway in Ihrer Umgebung ein. Kein eigenes Cloud-Konto? Wir liefern die passende Azure Subscription für Ihr Unternehmen - inklusive Abrechnung, Support und optionaler Wartung.
Häufige Fragen
Alles Wichtige zum AI Gateway, Verfügbarkeit und AI-FinOps
Was ist ein AI Gateway?
Ein AI Gateway ist ein zentraler Proxy zwischen Ihren Anwendungen, Tools und KI-Agenten und den KI-Providern (OpenAI, Anthropic, Google u. a.). Es bündelt alle KI-Zugriffe hinter einer einzigen, OpenAI-kompatiblen API und übernimmt Authentifizierung, Routing, Budgets, Guardrails und Kostenabrechnung - die zentrale Enterprise-Security- und FinOps-Schicht für KI im Unternehmen.
Wann braucht ein Unternehmen ein AI Gateway?
Sobald mehr als ein Team, mehrere Tools oder autonome KI-Agenten KI nutzen. Dann fehlen ohne zentrale Schicht Kostenkontrolle, Zuordnung und Governance. Ein AI Gateway verhindert Schatten-KI, Budgetüberschreitungen und Compliance-Risiken - und macht KI-Kosten pro Team, Nutzer, Agent und Kunde nachvollziehbar.
Ist das AI Gateway eine Enterprise-Security-Schicht?
Ja. Jeder KI-Zugriff läuft über das Gateway und wird dort authentifiziert (Microsoft Entra ID), per Guardrails geprüft, rollenbasiert autorisiert und lückenlos protokolliert. Provider-Keys liegen sicher im Azure Key Vault, Daten bleiben in der EU. So wird das Gateway zur zentralen Sicherheits- und Governance-Schicht zwischen Ihren Tools und den LLMs.
Wann ist das AI Gateway verfügbar?
Der Launch ist für August 2026 geplant. Schon vorher vergeben wir begrenzte Beta-Zugänge an ausgewählte Partner. Tragen Sie sich auf die Beta-Liste ein, um früh dabei zu sein und das Produkt mitzugestalten.
Was kostet das AI Gateway?
Die Preise werden zum Launch im August 2026 bekanntgegeben. In der Beta-Phase arbeiten wir eng mit Pilotkunden zusammen. Gerne besprechen wir Ihr Szenario unverbindlich im Rahmen einer Demo.
Brauche ich CompanyGPT, um das Gateway zu nutzen?
Nein. Das AI Gateway ist ein eigenständiges Produkt für alle KI-Zugriffe Ihrer Tools, Pipelines und Agenten. Wenn Sie bereits CompanyGPT nutzen, lässt es sich nahtlos als gemeinsame Kostenkontroll-Schicht anbinden.
Wie unterscheidet sich das Gateway von LiteLLM, OpenRouter & Portkey?
LiteLLM (Open-Source-Proxy), OpenRouter (großer Modell-Katalog) und Portkey (Control Plane) sind starke Tools für Routing und Zugriff. Unser Gateway setzt auf die Governance- und FinOps-Schicht darüber: echtes User-Scoping über Entra ID, hierarchische Budgets, Kostenstellen & Code-Profile, Preise in Euro (ai-prices.eu) und eine in Rust gebaute, schnelle Engine - als gemanagter Service aus Deutschland, nativ mit CompanyGPT verzahnt.
Welche Provider und Modelle werden unterstützt?
Über 9 Provider-Adapter: OpenAI, Azure OpenAI, Anthropic Claude, Google Gemini, Mistral, AWS Bedrock, STACKIT, Ollama und eigene OpenAI-kompatible Endpunkte. Modelle werden automatisch eingelesen, Preise stammen aus ai-prices.eu.
Wie schnell ist das Gateway wirklich?
Durch die Rust-Implementierung liegt der zusätzliche Latenz-Overhead im P95 unter 50 ms, Budget-Prüfungen unter 10 ms. Eine einzelne Instanz schafft über 700 Anfragen pro Sekunde - Ihre Agenten merken das Gateway praktisch nicht.
Wo werden meine Daten verarbeitet?
Das Gateway läuft in Ihrer Cloud oder in souveränen deutschen Rechenzentren (STACKIT). Prompts und Daten bleiben unter Ihrer Kontrolle, DSGVO- und EU-AI-Act-konform. API-Keys werden nur als Hash gespeichert, Provider-Credentials liegen im Azure Key Vault.
Was bedeutet AI-FinOps konkret?
AI-FinOps bedeutet, KI-Kosten so zu steuern wie Cloud-Kosten: messen, zuordnen, budgetieren und optimieren. Mit Kostenstellen, Code-Profilen und kaskadierenden Budgets ordnen Sie jeden Token einem Team, Nutzer, Agenten oder Kunden zu.
AI Gateway für Ihr Unternehmen
Was Sie bekommen:
- Eine OpenAI-kompatible API für 9+ KI-Provider
- In Rust gebaut - P95-Overhead unter 50 ms
- AI-FinOps: Kostenstellen, Code-Profile, Token-Attribution
- Kaskadierende Budgets für Org, Team, Nutzer, Key & Agent
- User-Scoping über Microsoft Entra ID (anders als LiteLLM)
- Guardrails, Audit-Log, MCP-Registry & A2A-Protokoll
- Preise in Euro auf Basis von ai-prices.eu
- Eigenständig oder integriert in CompanyGPT
Beta-Zugang sichern
August 2026
Begrenzte Beta-Plätze für Pilotkunden. Preise zum Launch.
Gestalten Sie das Produkt mit.
Auf die Beta-ListeBereit für KI-Kostenkontrolle?
Vereinbaren Sie ein Gespräch und erfahren Sie, wie das AI Gateway Ihre KI-Kosten transparent und steuerbar macht.