AI Gateway vs. Helicone: Observability-Plattform mit Gateway oder FinOps-Komponente im eigenen Tenant?

Das Wichtigste in Kürze (Stand 26.09.2026):

• Helicone ist laut eigener Beschreibung eine „AI Gateway & LLM Observability“-Plattform, verfügbar als gehostete Cloud mit Wahl zwischen EU- und US-Region oder per Self-Hosting (Docker Compose, Helm-Chart); die Hauptplattform steht unter Apache-2.0, das separate Rust-AI-Gateway laut GitHub-Lizenzfeld unter GPL-3.0 als Public Beta, und laut Helicone-Blog vom März 2026 wurde Helicone von Mintlify übernommen.
• Das innFactory AI Gateway wird in den Cloud-Tenant des Kunden ausgerollt und bündelt Kostenstellen mit Per-Member-Caps, Budgets in Euro und einen Companion, der die Agent-Zeit von Claude Code, Codex und OpenCode je Repository misst, auch für Abo-Nutzung.
• Laut Dokumentation (Stand 26.09.2026) erfasst Helicone, was durch den Proxy läuft (Requests, Tokens, Kosten), steuert Kosten über Rate-Limit-Policies in US-Cent mit hartem Stopp per HTTP 429 und gruppiert Requests in Sessions zu Traces, die keine Zeitmessung sind; der Companion des innFactory AI Gateway liest die lokalen Sitzungsprotokolle von Claude Code, Codex und OpenCode und meldet Agent-Zeit und Abo-Nutzung je Repository, angezeigt in Euro.
• Helicone passt, wenn Sie eigene KI-Anwendungen entwickeln und vor allem Tracing, Debugging und Sessions brauchen; das innFactory AI Gateway passt, wenn Sie den KI-Einsatz einer Organisation steuern wollen – Kostenstellen in Euro, Rollen aus Entra ID oder Keycloak, Guardrails über alle Modelle und Agent-Zeit je Repository im eigenen Tenant.

Helicone beschreibt sich selbst als „AI Gateway & LLM Observability“-Plattform für AI Engineers (Stand 26.09.2026). Das Produkt kommt aus der Observability-Ecke: Jede Anfrage an ein Sprachmodell wird protokolliert, mit Metadaten versehen, in Sessions gruppiert und im Dashboard ausgewertet. Für Teams, die eigene KI-Anwendungen bauen, ist das ein starkes Werkzeug — Helicone ist ein gutes Produkt.

Das innFactory AI Gateway kommt von der anderen Seite: eine Infrastrukturkomponente im Cloud-Tenant des Kunden, die Sprachmodelle und Coding-Agenten unter Kostenstellen, Budgets, Rollen und Guardrails stellt und nativ in CompanyGPT integriert ist.

Die eigentliche Entscheidung lautet deshalb: Brauchen Sie primär Request-Tracing für selbst entwickelte KI-Anwendungen — oder primär Kostensteuerung, Identität und Governance für den KI-Einsatz einer Organisation?

Was Helicone ist

Helicone, Inc. wurde nach eigener Angabe „three years ago during YC W23“ gestartet. Einen Firmensitz nennt das Unternehmen auf den geprüften Seiten nicht; die Nutzungsbedingungen verweisen auf kalifornisches Recht, die Datenschutzerklärung nennt die USA als Ort der Datenverarbeitung.

Zwei Repositories, zwei Lizenzen: Die Hauptplattform (github.com/Helicone/helicone) steht unter Apache-2.0. Das separate, in Rust geschriebene AI Gateway (github.com/Helicone/ai-gateway) steht laut GitHub-Lizenzfeld und LICENSE-Datei unter GPL-3.0 und ist als „Public Beta“ gekennzeichnet. Das gehostete Angebot hat laut Preisseite unter anderem die Stufen Team und Enterprise; das README nennt zudem ein kostenloses Kontingent.

Laut Helicone-Blog vom März 2026 wurde Helicone von Mintlify übernommen („Helicone has been acquired by Mintlify, and our team will be joining them in San Francisco“). Dem Beitrag zufolge gilt im Wortlaut: „security updates, new models, bug & performance fixes all keep shipping“.

Betriebsmodell: SaaS, Self-Hosting oder Infrastruktur im eigenen Tenant

Helicone bietet die gehostete Cloud und Self-Hosting mit vier dokumentierten Wegen: „Manual Installation“, „Docker Compose“, „Kubernetes“ per Helm-Chart und Cloud. Der eigene Stack besteht laut Anleitung aus Postgres, ClickHouse, Minio, Jawn-Backend und Web-Frontend; da laut derselben Anleitung „Jawn no longer proxies LLM traffic“, kommt für das Proxying das separate AI Gateway hinzu. In der Cloud lässt Helicone laut Dokumentation zwischen EU- und US-Region wählen und stellt einen SOC-2-Bericht auf Anfrage bereit.

Das innFactory AI Gateway wird nicht von innFactory gehostet. Es wird als Container in den Cloud-Tenant des Kunden ausgerollt — Azure Container Apps, AKS, STACKIT oder ein beliebiges Kubernetes — und dort als Teil des eigenen KI-Stacks betrieben; Gateway, Dashboard und Daten liegen im Tenant; innFactory sitzt nicht im Anfragepfad. Konfiguriert wird per YAML, Terraform-Provider oder in natürlicher Sprache über den eingebauten MCP-Server gateway-config. Aktuelle Version ist 1.0.0-rc16, in Produktion bei ersten Kunden seit August 2026.

Identität, SSO und Rollen

Laut Preisseite ist „SAML SSO“ bei Helicone ab der Team-Stufe enthalten. Welche Identitätsanbieter angebunden werden, ob SCIM unterstützt wird und welche Rollen es gibt, ist auf den geprüften Seiten nicht dokumentiert. Endnutzer werden über den Header Helicone-User-Id identifiziert, was laut Dokumentation Kosten- und Nutzungsmetriken pro Nutzer ermöglicht; eine Modellfreigabe pro Nutzer ist nicht dokumentiert.

Beim innFactory AI Gateway ist die Identität Teil jeder Lizenzstufe: Microsoft Entra ID oder generisches OIDC (Keycloak dokumentiert). Sieben Rollen — Owner, Admin, Auditor, Finance, Security, Member, Guest — sind enthalten; sechs davon lassen sich aus IdP-Gruppen abbilden, Guest wird bei Logins außerhalb der erlaubten E-Mail-Domains automatisch vergeben; Kostenstellen haben eigene Administratoren, und pro Person lassen sich Modelle, Budgets und Rate-Limits festlegen.

Kostenkontrolle und AI-FinOps

Helicones Kostensteuerung läuft über „Custom Rate Limits“: eine Richtlinie im Header Helicone-RateLimit-Policy: [quota];w=[time_window];u=[unit];s=[segment], für den gesamten API-Key, pro Nutzer oder pro Custom Property. Als Einheit sind request oder cents möglich, das Zeitfenster ist in Sekunden frei wählbar. Wird die Grenze erreicht, antwortet Helicone laut Dokumentation mit HTTP 429 — ein harter Stopp. Die Attribution basiert auf Custom Properties, mit denen sich Kosten „per user, conversation, or feature“ berechnen lassen. Die dokumentierten Beispiele arbeiten in US-Cent; eine Euro-Darstellung ist nicht dokumentiert.

Das innFactory AI Gateway kennt vier unabhängige Gates: Organisation, Kostenstelle (monatlich plus Tages- und Wochenfenster, Pool- oder Pro-Nutzer-Modus mit Obergrenze je Mitglied), Nutzer und API-Key. Ein erschöpftes Gate antwortet mit HTTP 402 und Fehlercode E4006 — optional greift ein Budget-Fallback-Modell, Pro-Mitglied-Obergrenzen bleiben harte Stopps. Kosten werden nach Nutzer, Key, Team, Kostenstelle, Modell, Provider, Tool, Repository und Abrechnungsquelle zugeordnet und in EUR zum EZB-Tageskurs angezeigt; Preise kommen von ai-prices.eu mit Admin-Prüfung vor der Übernahme. Jede gepufferte Antwort trägt den Header x-aigateway-response-cost, Insights und CSV-Export enthalten auch Agent- und LLM-Zeit.

Coding-Agenten, Abos und Agent-Zeit

Für Claude Code dokumentiert Helicone eine Integration per Base-URL: ANTHROPIC_BASE_URL zeigt auf den Helicone-Endpunkt, danach werden „any calls to Claude Code“ protokolliert. Laut derselben Seite ist diese Methode „maintained but no longer actively developed“; der Anbieter verweist auf sein neues AI Gateway. Gemessen wird, was durch den Proxy läuft: Requests, Tokens, Kosten. Laut den Dokumentationen von Helicone (Stand 26.09.2026) ist ein lokaler Companion, der Agent-Arbeitszeit oder Abo-Nutzung unabhängig vom Gateway-Verkehr erfasst, nicht beschrieben. Helicones „Sessions“ sind etwas anderes: Sie gruppieren Requests zu einem Trace („trace the entire agent flow from initial user input to final response in one unified view“) — ein Debugging-Werkzeug, keine Zeitmessung.

Das innFactory AI Gateway liefert zwei Bausteine. Erstens Proxy-Setups für sechs Werkzeuge — Claude Code, Codex, OpenCode, Cowork, VS Code Continue und VS Code Copilot (BYOK) — mit eigenem Key und eigener Kostenstelle je Entwickler. Zweitens den Companion aigw auf dem Entwicklerrechner (Linux, macOS, Windows), der die lokalen Sitzungsprotokolle von Claude Code, Codex und OpenCode liest und Agent-Zeit und LLM-Zeit pro Repository, Nutzer, Tool und Kostenstelle meldet. Er erkennt, ob eine Sitzung über das Gateway oder das Abo des Werkzeugs (Claude Max, Codex-Plan) lief; Abo-Nutzung wird zum Listenpreis bewertet, aber nie abgerechnet oder budgetiert. Der Rollout läuft per MDM über Intune, macOS-Richtlinie oder Linux-Skript. Ehrlich dazu: Cursor, Windsurf, Aider, Cline, Copilot CLI und Gemini CLI erfasst der Companion nicht, und die Binaries sind noch nicht code-signiert.

Provider, Dialekte und Modelle

Helicone nennt „100+ models and 20+ providers“; die Tabelle zugelassener Domains umfasst rund zwei Dutzend Provider, darunter OpenAI, Anthropic, Google Gemini und Mistral. Primärer Eingangsdialekt ist OpenAI-kompatibel, die Anthropic-API wird nativ durchgereicht, für Vertex AI gibt es ein SDK-Beispiel. Responses API, Realtime und Audio haben wir auf den geprüften Seiten nicht gefunden; STACKIT, IONOS und Aleph Alpha sind als Provider nicht dokumentiert. In der Breite der Anbieterliste ist Helicone weiter.

Das innFactory AI Gateway bindet 13 Provider-Typen an: OpenAI, Azure OpenAI, Azure AI Foundry, Anthropic (direkt oder Vertex), Gemini (AI Studio oder Vertex inklusive EU-Endpunkt), Mistral, AWS Bedrock, STACKIT, IONOS, Ollama, LM Studio, ElevenLabs und OpenAI-kompatible Endpunkte. Eingangsseitig spricht es drei Dialekte — OpenAI (Chat Completions, Responses), Anthropic (Messages) und Gemini (generateContent) — sowie Realtime-WebSockets, Audio, Embeddings und Bilder.

Governance: Guardrails, MCP, Routing und Flow Builder

Guardrails. Helicone dokumentiert „Moderations“ — ein Gate auf den Moderation-Endpunkt von OpenAI; markierte Prompts werden mit HTTP 400 abgewiesen, und laut Dokumentation gilt „the feature currently supports OpenAI models only“. PII-Redaktion, Prompt-Injection-Filter oder Shadow-Modus sind nicht dokumentiert. Das innFactory AI Gateway bringt neun Regeltypen mit — unter anderem Secret-Erkennung, PII-Redaktion, Prompt Injection und Azure Content Safety — mit Shadow-Modus, Redaktion mitten im Stream und DSGVO-Preset.

MCP. Helicone stellt laut Dokumentation einen eigenen MCP-Server bereit, über den MCP-Clients Helicone-Daten abfragen. Einen Proxy für Drittanbieter-MCP-Server haben wir nicht gefunden. Das innFactory AI Gateway betreibt einen MCP-Proxy mit acht Upstream-Auth-Modi, Zugriffsrichtlinien, Toolsets, Guardrails auf Tool-Argumente und Audit je Aufruf.

Routing und Flows. Helicone dokumentiert priorisierte Fallbacks per Helicone-Fallbacks-Header; das Rust-Gateway nennt im README „Smart routing with latency and cost optimization“. Der Cache ist ein Exact-Match-Cache über URL, Body und Header. Ein visueller Flow-Builder ist nicht dokumentiert. Das innFactory AI Gateway routet per Auto-Router nach Prompt-Komplexität, über Aliase, Fallbacks und Deployment-Gruppen. Der Flow Builder ist ein visueller Graph mit neun Strategien, Guardrail-Knoten mit pass/block/fail-Zweigen und Event-Triggern zu Webhooks; ein Flow ist wie ein Modell aufrufbar und belastet dieselben Budgets.

Was Helicone besser kann

• Request-Tracing als Kernprodukt: jede Anfrage mit Body, Latenz und Kosten, Sessions als Traces ganzer Agenten-Abläufe.
• Nutzermetriken und freie Attribution über Helicone-User-Id und Custom Properties.
• Kostenbasierte Rate-Limits mit hartem 429 in einer einzigen Header-Zeile.
• Alerts auf Fehlerrate, Kosten, Latenz und Tokens per E-Mail und Slack.
• Regionale Wahl EU/US in der Cloud, SOC-2-Bericht auf Anfrage.
• Vier Self-Hosting-Wege inklusive Helm-Chart, Hauptplattform unter Apache-2.0.
• Breitere Provider-Liste und ein eigener MCP-Server für Observability-Daten.

Wann Helicone die richtige Wahl ist

• Sie entwickeln eigene KI-Anwendungen und brauchen vor allem Tracing, Debugging und Sessions.
• Ihre Anwendung setzt die Attributions-Tags selbst.
• Ein gehosteter Dienst mit EU-Region reicht, oder Sie betreiben den Stack selbst.
• Die Einbindung soll ein Header-Swap im Code sein.

Wann das innFactory AI Gateway die richtige Wahl ist

• Der Datenpfad muss im eigenen Cloud-Tenant bleiben — Azure, STACKIT oder eigenes Kubernetes.
• Sie wollen Budgets in Euro je Kostenstelle, je Mitglied und je Key, mit hartem Stopp oder Fallback-Modell.
• Entra ID oder Keycloak mit Rollen sollen in jeder Lizenz funktionieren.
• Coding-Agenten laufen teils über Abos, und Sie wollen Agent-Zeit pro Repository sehen.
• Guardrails, MCP-Registry und Flow Builder sollen dieselben sein wie in CompanyGPT.

Vergleich auf einen Blick

Fazit

Helicone ist ein Observability-Produkt mit Gateway, das innFactory AI Gateway eine Governance- und FinOps-Komponente mit Observability. Wer eigene KI-Anwendungen baut und sehen will, was jeder Agentenschritt kostet, findet bei Helicone ein ausgereiftes Tracing mit geringem Integrationsaufwand.

Wer den KI-Einsatz einer Organisation steuern will — Kostenstellen in Euro, Rollen aus dem Verzeichnisdienst, Guardrails über alle Modelle, Coding-Agenten inklusive Abo-Nutzung, alles im eigenen Tenant — findet diese Bausteine im innFactory AI Gateway zusammengefasst.

Nativ in CompanyGPT integriert, Stack wiederverwendbar

Das innFactory AI Gateway ist nativ in CompanyGPT integriert: Dieselben Budgets, Kostenstellen und Guardrails gelten für Chat, Agenten und Add-ons. Identität über Entra ID oder Keycloak, Kostenstellen, Guardrails und die MCP-Registry sind ein Stack, der in CompanyGPT, im Gateway und in den eigenen Werkzeugen des Kunden wiederverwendet wird. Das Gateway lässt sich ebenso eigenständig betreiben. Weitere Gegenüberstellungen finden Sie unter alle Vergleiche, die Produktseite unter AI Gateway.

Quellen

Abgerufen am 26. September 2026:

• Hauptrepository (Apache-2.0) — https://github.com/Helicone/helicone
• AI-Gateway-Repository (Public Beta) — https://github.com/Helicone/ai-gateway
• GitHub-API Hauptrepository — https://api.github.com/repos/Helicone/helicone
• GitHub-API AI Gateway — https://api.github.com/repos/Helicone/ai-gateway
• AI Gateway LICENSE (GPL-3.0) — https://raw.githubusercontent.com/Helicone/ai-gateway/main/LICENSE
• Blog: Joining Mintlify — https://www.helicone.ai/blog/joining-mintlify
• Terms of Service — https://www.helicone.ai/terms
• Privacy Policy — https://www.helicone.ai/privacy
• Pricing (Stufen, SAML SSO) — https://www.helicone.ai/pricing
• Self-Hosting Übersicht — https://docs.helicone.ai/getting-started/self-host/overview
• Self-Hosting manuell — https://docs.helicone.ai/getting-started/self-host/manual
• Data Autonomy (EU/US, SOC 2) — https://docs.helicone.ai/references/data-autonomy
• FAQ Security — https://docs.helicone.ai/faq/tag/security
• Custom Rate Limits — https://docs.helicone.ai/features/advanced-usage/custom-rate-limits
• Custom Properties — https://docs.helicone.ai/features/advanced-usage/custom-properties
• Claude Code Integration — https://docs.helicone.ai/integrations/anthropic/claude-code
• Gateway Integration — https://docs.helicone.ai/getting-started/integration-method/gateway
• Gateway Fallbacks — https://docs.helicone.ai/getting-started/integration-method/gateway-fallbacks
• Moderations — https://docs.helicone.ai/features/advanced-usage/moderations
• Caching — https://docs.helicone.ai/features/advanced-usage/caching
• Sessions — https://docs.helicone.ai/features/sessions
• Alerts — https://docs.helicone.ai/features/alerts
• Helicone MCP Server — https://docs.helicone.ai/integrations/tools/mcp

Hinweis zu den Angaben: Alle Aussagen über Produkte anderer Anbieter beruhen auf deren öffentlich zugänglicher Dokumentation zum angegebenen Stand. Anbieter entwickeln ihre Produkte, Funktionen und Konditionen laufend weiter — maßgeblich sind stets die aktuellen Angaben des jeweiligen Anbieters. Sollte Ihnen eine Angabe veraltet oder unzutreffend erscheinen, schreiben Sie uns kurz an info@innfactory.ai; wir prüfen und korrigieren zeitnah. Dieser Vergleich ersetzt keine Rechts- oder Datenschutzberatung im Einzelfall.

Weiterführende Artikel

• AI Gateway – Produktseite
• CompanyGPT – Plattform mit nativer Gateway-Integration
• Claude Code als AI Harness – Bausteine, Modelle, Enterprise-Einsatz
• AI Harness erklärt – Grundlagenartikel
• Alle Vergleiche zum AI Gateway – LiteLLM, OpenRouter, Portkey, Cloudflare, Kong, Bifrost, TrueFoundry, Helicone, Vercel
• AI Gateway vs. LiteLLM
• AI Gateway vs. Bifrost (Maxim AI)
• AI Gateway vs. Kong AI Gateway