ElevenLabs

innFactory AI Consulting aus Rosenheim berät Unternehmen im DACH-Raum zum DSGVO- und AI-Act-konformen Einsatz von Sprach- und Musik-KI. ElevenLabs ist 2026 vom reinen Text-to-Speech-Anbieter zu einem breiten Audio-Stack geworden: Eleven v3 ist seit März GA, im Mai folgten Eleven v3 Conversational für Voice-Agents und Music v2. Seit Juni läuft Music v2 über die API, seit Juni ist das SynthID-Wasserzeichen aktiv, und seit 6. August 2026 ist Dubbing v2 über die API verfügbar. Auf der Speech-to-Text-Seite stehen seit Januar 2026 Scribe v2 und Scribe v2 Realtime bereit.

Praktisch relevant für viele Unternehmen: ElevenLabs ist die Sprachschicht hinter zahlreichen europäischen Voice-Agent- und Telefonassistenz-Produkten. Wer einen KI-Telefonassistenten einsetzt, nutzt ElevenLabs deshalb häufig indirekt über den jeweiligen Anbieter – die datenschutzrechtliche Kette muss dann bis zum Unterauftragsverarbeiter dokumentiert sein, inklusive Verarbeitungsregion und Aufbewahrungsdauer.

Was ist Eleven v3?

Eleven v3 ist das aktuelle Flaggschiff-Modell von ElevenLabs. Es generiert natürlich klingende Sprache mit hoher emotionaler Bandbreite und kontextuellem Verständnis in über 70 Sprachen.

Die wichtigsten Neuerungen

Audio-Tags

Erstmals lassen sich emotionale und akustische Anweisungen direkt im Text steuern – über Tags in eckigen Klammern:

[excited] Wir freuen uns sehr, [whispers] dass Sie heute hier sind.
[sighs] Nach einem langen Tag...
[clapping] Großartig gemacht!

Das Modell interpretiert Tags wie [excited], [whispers], [sighs], [gunshot], [clapping] oder [explosion] und passt Tonfall und Audio entsprechend an.

Text-to-Dialogue-API

Mit der Text-to-Dialogue-API lassen sich Multi-Speaker-Szenarien (Podcasts, Hörspiele, Trainingsvideos) in einem Call generieren – inklusive natürlicher Dialog-Dynamik zwischen mehreren Stimmen.

Sprachabdeckung

70+ Sprachen bei Eleven v3 und v3 Conversational – inklusive aller wichtigen europäischen Sprachen. Die Abdeckung unterscheidet sich allerdings deutlich je Modell: Flash v2.5 nennt die Doku mit 32, Multilingual v2 mit 29 Sprachen, Scribe v2 und Dubbing v2 mit 90+.

Eleven v3 Conversational und Music v2 (Mai 2026)

Eleven v3 Conversational

Mit Eleven v3 Conversational schließt ElevenLabs die Lücke zwischen Studio-Qualität (Eleven v3) und Echtzeit-Latenz (Flash v2.5). Die Modelldoku nennt rund 280 ms Latenz bei 70+ Sprachen. Ein Expressive Mode ist bei diesem Modell standardmäßig aktiv: Er nutzt Echtzeit-Signale aus Scribe v2 Realtime – nicht nur das Transkript, sondern auch die Prosodie – um den Antwortzeitpunkt natürlicher zu treffen. Eine dokumentierte Einschränkung: Merkmale von Professional Voice Clones werden von v3 Conversational derzeit nicht zuverlässig erhalten; wenn die geklonte Markenstimme das entscheidende Kriterium ist, verweist die Doku auf die Flash-Modelle.

Music v2

Music v2 generiert komplette Songs inklusive Vocals und Arrangement. Neu sind Section-Level-Inpainting (gezielt Verse, Bridge oder Chorus regenerieren) sowie Mid-Track-Genre-Wechsel. Wichtig für Enterprise- und Marketing-Use-Cases: Music v2 wurde nach Herstellerangaben ausschließlich auf lizenzierten Daten trainiert und ist kommerziell freigegeben – ein relevanter Punkt, wenn KI-Musik in Werbung eingesetzt werden soll. Seit Juni 2026 ist das Modell über die API verfügbar (model_id: music_v2) und arbeitet dort mit chunk-basierten Composition Plans, die Struktur, Pacing und Arrangement feiner steuerbar machen als der reine Prompt-Ansatz. Im Juli kam ein Streaming-Endpoint hinzu, der Composition Plan und optional Wort-Zeitstempel mitliefert.

Neu seit Juni 2026

Dubbing v2 über die API (August 2026)

Dubbing v2 war zunächst nur über die Oberfläche verfügbar und ist seit dem 6. August 2026 über die API nutzbar. Das Modell überträgt Inhalte in 90+ Sprachen und konditioniert dabei direkt auf die Originalaufnahme, sodass Tonfall, Emotion und Sprechweise erhalten bleiben. Die Übersetzungslogik ist sync-aware: Sprechbeginn und -ende folgen dem Original. Regionale Varianten – etwa kastilisches gegenüber lateinamerikanischem Spanisch – werden unterschieden. Die API ist projektbasiert: Transkript und Übersetzung liegen als editierbares JSON vor, sodass nach einer Korrektur nur die geänderten Segmente neu gerendert werden müssen.

Wichtig für EU-Projekte: Dubbing ist laut Doku in den isolierten Data-Residency-Umgebungen nicht verfügbar. Wer Dubbing mit EU-Datenresidenz kombinieren möchte, sollte das vorab mit ElevenLabs klären.

Scribe v2 und Scribe v2 Realtime

Auf der Speech-to-Text-Seite stehen zwei Modelle bereit. Scribe v2 ist die Batch-Variante für lange Aufnahmen, Untertitelung und Audio-Analyse: 90+ Sprachen, Speaker-Diarisierung für bis zu 32 Sprecher, Entity Detection und Keyterm-Biasing für Fachbegriffe. Scribe v2 Realtime ist die Streaming-Variante mit rund 150 ms Latenz laut Modelldoku; sie ist der Standard-ASR-Pfad in ElevenLabs Agents und liefert die Signale für den Expressive Mode. Im August 2026 kam Entity Detection auch im Live-Stream hinzu. Zusätzlich sind schlankere Realtime-Varianten dokumentiert (scribe_v2_realtime_turbo, scribe_v2_realtime_lite) – hier lohnt ein Blick in die aktuelle Doku, da sich die Verfügbarkeit noch bewegt.

SynthID-Wasserzeichen (Juni 2026)

Seit dem 25. Juni 2026 bettet ElevenLabs in Zusammenarbeit mit Google DeepMind das SynthID-Wasserzeichen in generiertes Audio ein. Es ist für Menschen nicht hörbar und übersteht nach Herstellerangaben Zuschnitt, Tempoänderung, Formatkonvertierung und das Entfernen von Metadaten. Der Rollout startete bei Text-to-Speech für Free-Nutzer und wurde anschließend ausgeweitet; vor Juni 2026 erzeugtes Audio trägt kein SynthID-Wasserzeichen. Zum Nachweis gibt es einen kostenlosen ElevenLabs Audio Detector. Einschränkung: Er erkennt nur Wasserzeichen aus dem ElevenLabs-Ökosystem, nicht die anderer Anbieter.

ElevenLabs Agents

Die Conversational-AI-Plattform von ElevenLabs (auch als ElevenAgents geführt) kombiniert vier Bausteine: ein feinjustiertes Speech-to-Text-Modell, ein frei wählbares LLM (inklusive eigener Modelle), eine latenzarme Text-to-Speech-Schicht mit 5.000+ Stimmen in 70+ Sprachen und ein eigenes Turn-Taking-Modell für das Timing.

Kanäle: Telefonie über SIP-Trunking und Twilio (inklusive Batch-Calls), WhatsApp, Web-Widget und React-SDK, iOS/Android/React Native sowie eine WebSocket-API für eigene Integrationen.

Bausteine für den Betrieb: mehrstufige Workflows mit visuellem Builder, Knowledge Base mit RAG (seit August 2026 auch als konfigurierbares System-Tool), Tool-Anbindung mit Webhook-Timeouts bis 300 Sekunden, konfigurierbare Guardrails, A/B-Tests, automatisierte Agent-Tests inklusive Tool-Mocks, Transkript-Suche und Versionierung über CLI und MCP.

Preise (Stand 17. August 2026, laut Preisseite): 0,08 USD pro Minute auf allen Tarifen, 0,16 USD pro Minute im Burst-Betrieb oberhalb des Concurrency-Limits, Textnachrichten 0,003 USD. LLM- und Telefoniekosten werden separat abgerechnet und sind in keinem Tarif enthalten – ein Punkt, der bei der Kalkulation von Telefonassistenten regelmäßig unterschätzt wird. Inkludierte Minuten und parallele Gespräche steigen mit dem Tarif (Free 15 Minuten / 4 parallele Gespräche bis Business 12.375 Minuten / 40 parallele Gespräche).

Preise und Credits

Die Abo-Tarife laut Preisseite (Stand 17. August 2026, monatliche Zahlung):

Bei jährlicher Zahlung nennt ElevenLabs zwei Freimonate. Die Credits werden über alle Produkte hinweg aus einem gemeinsamen Pool verbraucht: Text-to-Speech kostet rund ein Credit pro Zeichen, Flash v2.5 laut Modelldoku etwa die Hälfte, Speech-to-Text 330 Credits pro Minute. Für belastbare Kalkulationen sollten die tatsächlichen Werte vor Vertragsabschluss gegen die aktuelle Preisseite geprüft werden.

Abgekündigte Modelle

• eleven_monolingual_v1 und eleven_multilingual_v1: am 9. Juli 2026 abgeschaltet – Migration auf Multilingual v2 oder neuer
• scribe_v1: am 9. Juli 2026 abgeschaltet – Migration auf Scribe v2 oder Scribe v2 Realtime
• eleven_turbo_v2 und eleven_turbo_v2_5: in der Doku als deprecated geführt, Nachfolger sind Flash v2 bzw. Flash v2.5

Wer ElevenLabs über einen Drittanbieter nutzt, sollte prüfen, welches Modell dieser tatsächlich aufruft – abgekündigte Modell-IDs sind ein häufiger Grund für stillschweigende Qualitätswechsel.

Modellauswahl nach Use-Case

DSGVO- und AI-Act-Compliance

Datenresidenz: Enterprise-Feature, nicht Standard

ElevenLabs bietet isolierte Umgebungen mit Datenresidenz in der EU, in Indien und in Singapur; Standard ist die US-Infrastruktur. Die Doku führt Data Residency ausdrücklich als Enterprise-Feature – ohne entsprechenden Vertrag werden Daten unabhängig vom Standort des Kunden in der US-Standardumgebung verarbeitet. Das ist der wichtigste Punkt für DSGVO-Bewertungen im Mittelstand.

Weitere Einschränkungen, die man vor der Architekturentscheidung kennen sollte:

• Dubbing ist in isolierten Umgebungen laut Doku nicht verfügbar
• Die Verfügbarkeit der LLM-Modelle in Agents variiert je Region und Anbieter
• Bestehende Ressourcen lassen sich nur begrenzt migrieren: Professional Voice Clones können in eine isolierte Umgebung geteilt werden, Agents müssen dort über die API neu angelegt werden. Seit August 2026 gibt es zusätzlich einen Endpoint, um Stimmen über Data-Residency-Umgebungen hinweg zu replizieren.

Zero Retention Mode

Für besonders sensible Workflows bietet ElevenLabs einen Zero Retention Mode: Anfrage- und Antwortdaten werden unmittelbar nach der Verarbeitung gelöscht statt gespeichert. Auch dieser Modus ist Enterprise-Kunden vorbehalten. Technisch wird er über den Query-Parameter enable_logging=false gesetzt, in Agents alternativ pro Agent in den Privacy-Einstellungen. Abgedeckt sind laut Doku Text-to-Speech, Speech-to-Text, Text-to-Dialogue, Voice Changer und Agents.

Zwei Punkte aus der Praxis: Web-UI und Playground sind nie abgedeckt – wer den Modus vertraglich vereinbart, muss die Nutzung entsprechend auf die API lenken. Und der Support ist im Zero Retention Mode eingeschränkt, weil keine Diagnoseprotokolle vorliegen; Fehleranalysen bei Generierungsproblemen sind dann kaum möglich.

EU AI Act und Kennzeichnung

• Für synthetische Audioinhalte gelten unter dem EU AI Act Transparenzpflichten; die entsprechenden Vorgaben greifen ab August 2026
• ElevenLabs bettet seit Juni 2026 das SynthID-Wasserzeichen ein und stellt einen kostenlosen Audio Detector bereit. Das ist ein technischer Nachweis der Herkunft, ersetzt aber keine an die Nutzerin oder den Nutzer gerichtete Kennzeichnung – ein hörbarer oder sichtbarer Hinweis bleibt organisatorisch zu regeln
• Vor Juni 2026 erzeugtes Audio trägt kein Wasserzeichen
• Empfehlung: interne Policy zur Kennzeichnung von KI-Audio in Kunden- und Mitarbeiterkommunikation, insbesondere bei Telefonassistenten

Voice Cloning: Einwilligung und Missbrauchsschutz

• ElevenLabs setzt beim Voice Cloning ein Voice CAPTCHA ein: Wer eine Stimme klont, muss einen eingeblendeten Text innerhalb weniger Sekunden vorlesen. Das belegt, dass die anfragende Person bei der Aufnahme anwesend war – es belegt nicht, dass ihr die Stimme gehört
• Die Nutzungsbedingungen untersagen nicht einvernehmliches Klonen, täuschende Deepfakes sowie das Umgehen der Verifikationsmechanismen einschließlich Voice CAPTCHA
• Daraus folgt für Unternehmen: Die dokumentierte Einwilligung der gecloneten Person ist und bleibt eine eigene Pflicht, die die Plattformprüfung nicht abnimmt
• Bei Markenstimmen: vertragliche Regelung mit Sprecherinnen und Sprechern zwingend
• Nachhaltigkeit der Lizenz: Wenn die Geschäftsbeziehung mit einer Sprecherin endet, klären, ob bestehende geklonte Stimmen weiter genutzt werden dürfen

Wenn ElevenLabs über einen Drittanbieter läuft

Viele Voice-Agent- und Telefonassistenz-Produkte im europäischen Markt nutzen ElevenLabs als Sprachschicht, ohne dass das im Frontend sichtbar wird. Für die Auftragsverarbeitung heißt das: Der eigentliche Vertragspartner ist der Produktanbieter, ElevenLabs ist Unterauftragsverarbeiter. Zu klären ist dann konkret, in welcher Region der Anbieter ElevenLabs anspricht, ob er selbst auf einem Enterprise-Vertrag mit EU-Datenresidenz und Zero Retention Mode sitzt, und wie lange Gesprächsaufnahmen und Transkripte auf beiden Ebenen vorgehalten werden. Ein Enterprise-Feature beim Unterauftragsverarbeiter nützt nur dann etwas, wenn der Anbieter es auch gebucht hat.

Integration in Enterprise-Workflows

• REST-API mit umfangreichen Streaming-Optionen
• WebSocket-Streams für Echtzeit-Konversationen und Live-Transkription
• SDKs: Python, JavaScript/Node.js, iOS, Android, React Native sowie ein CLI und ein MCP-Server
• Agents: frei wählbares LLM als Backbone, Knowledge Base mit RAG, Tool-Calls, Guardrails und automatisierte Agent-Tests

Unsere Empfehlung

Für hochqualitative Sprachausgabe ist Eleven v3 die naheliegende Wahl, für Telefonassistenten und Voice-Agents Eleven v3 Conversational – mit der Einschränkung, dass Professional Voice Clones dort derzeit nicht zuverlässig erhalten bleiben. Für Transkription empfehlen wir Scribe v2 (Batch) beziehungsweise Scribe v2 Realtime (im Agent), für mehrsprachige Video-Lokalisierung Dubbing v2 und für werblich nutzbare KI-Musik Music v2 wegen der lizenzierten Trainingsdaten.

Für DSGVO-kritische Anwendungen führt der Weg über den Enterprise-Tier: EU-Datenresidenz und Zero Retention Mode sind dort verfügbar, in den Standardtarifen nicht. Wer ElevenLabs nur indirekt über ein Voice-Agent-Produkt nutzt, sollte diese Punkte beim Anbieter schriftlich abfragen, bevor personenbezogene Gesprächsdaten fließen. Ergänzend empfehlen wir eine interne Policy zur Kennzeichnung von KI-Audio – SynthID liefert die technische Nachweisbarkeit, die Kennzeichnung gegenüber Betroffenen bleibt eine organisatorische Aufgabe.

Je nach Use-Case prüfen wir alternativ OpenAI gpt-4o-mini-tts (gut in den OpenAI-Stack integriert) oder Cartesia Sonic (auf niedrige Latenz ausgelegt). Kontaktieren Sie uns für eine Beratung zur passenden Audio-Modellstrategie.