ElevenLabs

innFactory AI Consulting aus Rosenheim berät Unternehmen im DACH-Raum zum DSGVO- und AI-Act-konformen Einsatz von Sprach- und Musik-KI. ElevenLabs ist vom reinen Text-to-Speech-Anbieter zu einem breiten Audio-Stack geworden: Text-to-Speech mit Eleven v4 und Eleven v4 Turbo, Speech-to-Text mit Scribe v2, Musikgenerierung mit Music v2.5, Dubbing v2 für Lokalisierung und die Agent-Plattform ElevenLabs Agents mit den Realtime-Modellen Eleven Realtime v1 Mini und v1 Max. Die Vorgänger Eleven v3 und Eleven v3 Conversational bleiben verfügbar.

Praktisch relevant für viele Unternehmen: ElevenLabs ist die Sprachschicht hinter zahlreichen europäischen Voice-Agent- und Telefonassistenz-Produkten. Wer einen KI-Telefonassistenten einsetzt, nutzt ElevenLabs deshalb häufig indirekt über den jeweiligen Anbieter – die datenschutzrechtliche Kette muss dann bis zum Unterauftragsverarbeiter dokumentiert sein, inklusive Verarbeitungsregion und Aufbewahrungsdauer. Stand dieser Übersicht: Oktober 2026.

Aktuelle Modelle im Überblick

Eleven v4 und Eleven v4 Turbo

Am 28. September 2026 hat ElevenLabs Eleven v4 und Eleven v4 Turbo veröffentlicht. Laut ElevenLabs verbessert Eleven v4 gegenüber Eleven v3 Ausgabequalität, Stimmtreue, Emotion, Audio-Tags und Sprachabdeckung; die Doku empfiehlt ausdrücklich, auf v4 umzusteigen und mit den eigenen Stimmen zu testen. Das Modell unterstützt 90+ Sprachen und bis zu 10.000 Zeichen pro Request (ca. 10 Minuten Audio) und wird über die Text-to-Dialogue-API genutzt.

Beim Voice Cloning nennt ElevenLabs deutliche Verbesserungen für Instant und Professional Voice Clones. Eine bewusste Änderung betrifft die sprachübergreifende Generierung: Weicht die Zielsprache von der Sprache der Referenzstimme ab, erzeugt v4 flüssige Sprache in der Zielsprache statt den Akzent der Referenz zu übernehmen. Wenn Markenstimmen ihren Akzent behalten sollen, sollte das vor der Migration getestet werden. Weil v4 die Quellstimme genauer reproduziert, kann es spürbar anders klingen als v3; die Qualität der Aufnahme wird wichtiger.

Eleven v4 Turbo ist die Echtzeit-Variante der Familie mit rund 100 ms medianer Inferenzlatenz laut Doku. Sie wird über den Text-to-Dialogue-WebSocket genutzt und zielt auf Support-Agents, Assistenten und interaktive Charaktere. In ElevenAgents ist v4 Turbo seit dem 5. Oktober 2026 das voreingestellte TTS-Modell (vorher Flash v2).

Eleven Realtime v1 Mini und v1 Max

Seit dem 19. Oktober 2026 rollt ElevenLabs mit Eleven Realtime schrittweise eine Modellfamilie für Voice-Agents aus. Jedes Realtime-Modell ist laut Doku ein kompletter Voice-Agent: Spracherkennung, Turn-Taking, LLM und Text-to-Speech sind von ElevenLabs ausgewählt und aufeinander abgestimmt. Systemprompt, Stimme, Tools und Knowledge Base des Agents bleiben gleich. v1 Mini (eleven_realtime_v1_mini) ist der Standard mit der niedrigsten Latenz und den niedrigsten Kosten. v1 Max (eleven_realtime_v1_max) überlegt vor der Antwort und ist für komplexe Anweisungen und mehrstufige Tool-Calls gedacht. Beide unterstützen 90+ Sprachen und sind in ElevenAgents sowie über eine Realtime API nutzbar, die laut ElevenLabs mit der Realtime API von OpenAI kompatibel ist.

Für Compliance-Projekte entscheidend: Unter Zero Retention Mode und HIPAA ist nur v1 Max verfügbar (Umgebungen US und EU), v1 Mini nicht. In den Data-Residency-Umgebungen Indien und Singapur gibt es nur v1 Mini. Agents mit Custom LLM oder Amazon Bedrock bleiben im Custom-Modus, in dem LLM, ASR und TTS weiterhin einzeln gewählt werden.

Eleven v3 und Eleven v3 Conversational

Eleven v3 (GA seit März 2026) generiert natürlich klingende Sprache mit hoher emotionaler Bandbreite in über 70 Sprachen. Die Doku führt v3 inzwischen als vorherige Generation. Zentrale Funktionen:

Audio-Tags: Emotionale und akustische Anweisungen lassen sich direkt im Text steuern – über Tags in eckigen Klammern:

[excited] Wir freuen uns sehr, [whispers] dass Sie heute hier sind.
[sighs] Nach einem langen Tag...
[clapping] Großartig gemacht!

Das Modell interpretiert Tags wie [excited], [whispers], [sighs], [gunshot], [clapping] oder [explosion] und passt Tonfall und Audio entsprechend an. Mit der Text-to-Dialogue-API lassen sich Multi-Speaker-Szenarien (Podcasts, Hörspiele, Trainingsvideos) in einem Call generieren.

Eleven v3 Conversational (Mai 2026) schloss die Lücke zwischen Studio-Qualität und Echtzeit-Latenz: rund 280 ms Latenz bei 70+ Sprachen und ein Expressive Mode, der Echtzeit-Signale aus Scribe v2 Realtime inklusive Prosodie nutzt, um den Antwortzeitpunkt natürlicher zu treffen. Dokumentierte Einschränkung: Merkmale von Professional Voice Clones werden nicht zuverlässig erhalten; bei geklonten Markenstimmen verweist die Doku auf die Flash-Modelle.

Sprachabdeckung im Vergleich: v4, v4 Turbo und Eleven Realtime 90+, v3 und v3 Conversational 70+, Flash v2.5 32, Multilingual v2 29, Scribe v2 und Dubbing v2 90+.

Scribe v2, Scribe v2 Realtime und Scribe v2 Medical

Scribe v2 ist die Batch-Variante für lange Aufnahmen, Untertitelung und Audio-Analyse: 90+ Sprachen, Speaker-Diarisierung für bis zu 32 Sprecher, Entity Detection und Keyterm-Biasing für Fachbegriffe. Scribe v2 Realtime ist die Streaming-Variante mit rund 150 ms Latenz laut Modelldoku; sie ist der Standard-ASR-Pfad in ElevenLabs Agents und liefert die Signale für den Expressive Mode. Entity Detection gibt es auch im Live-Stream. Dokumentiert sind außerdem schlankere Realtime-Varianten (scribe_v2_realtime_turbo, scribe_v2_realtime_lite); hier lohnt ein Blick in die aktuelle Doku. Batch- und Realtime-Transkription akzeptieren seit dem 28. September 2026 zudem eine natürlichsprachliche Edit-Anweisung (bis 2.000 Zeichen) für die Nachbearbeitung des Transkripts.

Scribe v2 Medical (scribe_v2_medical, seit 11. September 2026) ist ein Batch-Modell für klinische Audioinhalte wie Arzt-Patienten-Gespräche, Diktate und Intake-Calls. Laut Hersteller liefert es 18 % weniger Transkriptionsfehler bei klinischem Audio als Scribe v2. Es ist HIPAA-fähig (BAA für Enterprise-Kunden) und von Zero Retention Mode abgedeckt; laut Hersteller ersetzt es keine klinische Beurteilung – Transkripte sind vor Verwendung durch Fachpersonal zu prüfen.

Music v2.5 und Music v2

Music v2 generiert komplette Songs inklusive Vocals und Arrangement, mit Section-Level-Inpainting und Mid-Track-Genre-Wechsel. Nach Herstellerangaben wurde es ausschließlich auf lizenzierten Daten trainiert und ist kommerziell freigegeben – relevant, wenn KI-Musik in Werbung eingesetzt werden soll. Über die API (model_id: music_v2) arbeitet es mit chunk-basierten Composition Plans; ein Streaming-Endpoint liefert Composition Plan und optional Wort-Zeitstempel.

Music v2.5 (music_v2_5) ist seit dem 11./14. September 2026 in ElevenMusic, Studio, Flows und der API verfügbar und laut Hersteller das neue Standardmodell für Prompt- und Referenz-Generierung mit natürlicherer Instrumentierung und Vocals, vor allem bei vokal- und akustiklastigen Genres. Composition-Plan-Chunks unterstützen bis zu 6.132 Zeichen. Music v2 bleibt parallel nutzbar.

Seit dem 19. Oktober 2026 gibt es zudem die Video-to-Music-API: Sie erzeugt aus bis zu zehn Videodateien (zusammen 200 MB) einen passenden Soundtrack, optional mit Soundeffekten und mit Musik und Effekten als getrennten Spuren.

Dubbing v2

Dubbing v2 ist seit dem 6. August 2026 über die API nutzbar. Das Modell überträgt Inhalte in 90+ Sprachen und konditioniert direkt auf die Originalaufnahme, sodass Tonfall, Emotion und Sprechweise erhalten bleiben. Die Übersetzungslogik ist sync-aware, regionale Varianten (z. B. kastilisches gegenüber lateinamerikanischem Spanisch) werden unterschieden. Die API ist projektbasiert: Transkript und Übersetzung liegen als editierbares JSON vor, nach einer Korrektur werden nur geänderte Segmente neu gerendert.

Wichtig für EU-Projekte: Unter den isolierten Data-Residency-Umgebungen ist Dubbing laut Doku nur in der EU-Umgebung verfügbar, in den Umgebungen Indien und Singapur nicht.

Für Live-Gespräche bietet ElevenLabs seit dem 19. Oktober 2026 außerdem Realtime Translation an: eine WebSocket-API für Enterprise-Workspaces, die Sprache noch während des Sprechens in eine andere Sprache und eine gewählte Stimme überträgt, standardmäßig mit Eleven v4 Turbo. Zero Retention Mode lässt sich dabei per enable_zrm=true aktivieren.

SynthID-Wasserzeichen

Seit dem 25. Juni 2026 bettet ElevenLabs in Zusammenarbeit mit Google DeepMind das SynthID-Wasserzeichen in generiertes Audio ein. Es ist nicht hörbar und übersteht nach Herstellerangaben Zuschnitt, Tempoänderung, Formatkonvertierung und das Entfernen von Metadaten. Vor Juni 2026 erzeugtes Audio trägt kein Wasserzeichen. Zum Nachweis gibt es einen kostenlosen ElevenLabs Audio Detector, der nur Wasserzeichen aus dem ElevenLabs-Ökosystem erkennt.

ElevenLabs Agents

Die Conversational-AI-Plattform von ElevenLabs (auch ElevenAgents) kombiniert vier Bausteine: ein feinjustiertes Speech-to-Text-Modell, ein frei wählbares LLM (inklusive eigener Modelle), eine latenzarme Text-to-Speech-Schicht mit 5.000+ Stimmen und ein eigenes Turn-Taking-Modell für das Timing. Laut Changelog stehen als Agent-LLM u. a. auch aktuelle Modelle von OpenAI, Anthropic, Zhipu und DeepSeek zur Auswahl.

Kanäle: Telefonie über SIP-Trunking und Twilio (inklusive Batch-Calls), WhatsApp, Web-Widget und React-SDK, iOS/Android/React Native sowie eine WebSocket-API.

Bausteine für den Betrieb: mehrstufige Workflows mit visuellem Builder, Knowledge Base mit RAG, Tool-Anbindung mit Webhook-Timeouts bis 300 Sekunden, konfigurierbare Guardrails, A/B-Tests, automatisierte Agent-Tests inklusive Tool-Mocks, Transkript-Suche und Versionierung über CLI und MCP.

Preise laut Preisseite: 0,08 USD pro Minute auf allen Tarifen, 0,16 USD pro Minute im Burst-Betrieb oberhalb des Concurrency-Limits, Textnachrichten 0,003 USD. LLM-Kosten werden separat abgerechnet; Telefonie berechnet ElevenLabs laut Preisseite nicht zusätzlich, externe Anbieter wie Twilio oder SIP-Trunks rechnen aber direkt ab – beides wird bei der Kalkulation von Telefonassistenten regelmäßig unterschätzt. Inkludierte Minuten und parallele Gespräche steigen mit dem Tarif.

Preise

Die Abo-Tarife laut Preisseite (monatliche Zahlung):

Preise laut Anbieter, Stand Oktober 2026. Credits werden über alle Produkte hinweg aus einem gemeinsamen Pool verbraucht; die Kontingente je Tarif und der Verbrauch je Modell ändern sich mit neuen Modellen und sollten vor Vertragsabschluss gegen die aktuelle Preisseite geprüft werden.

Verfügbarkeit in der EU und DSGVO

Datenresidenz: Enterprise-Feature, nicht Standard

ElevenLabs bietet isolierte Umgebungen mit Datenresidenz in der EU, in Indien und in Singapur; Standard ist die US-Infrastruktur. Die Doku führt Data Residency ausdrücklich als Enterprise-Feature – ohne entsprechenden Vertrag werden Daten unabhängig vom Standort des Kunden in der US-Standardumgebung verarbeitet. Das ist der wichtigste Punkt für DSGVO-Bewertungen im Mittelstand.

Data Residency regelt laut Doku zunächst die Speicherung. Verarbeitet werden kann trotzdem außerhalb der gewählten Region, etwa durch internationale Konzerngesellschaften, Unterauftragsverarbeiter, Support oder Content-Moderation. Für die EU-Umgebung lässt sich die Verarbeitung auf die EU beschränken, wenn Zero Retention Mode und die API genutzt werden; optionale Integrationen wie Custom LLMs oder Post-Call-Webhooks können dennoch eine Verarbeitung außerhalb der EU auslösen.

Weitere Einschränkungen:

• Dubbing ist laut Doku nur in der EU-Umgebung verfügbar; Image & Video (inklusive Lip-Sync) und Flows gibt es in keiner isolierten Umgebung
• Die Verfügbarkeit der LLM-Modelle in Agents variiert je Region und Anbieter
• Bestehende Ressourcen lassen sich nur begrenzt migrieren: Professional Voice Clones können in eine isolierte Umgebung geteilt werden, Agents müssen dort über die API neu angelegt werden. Ein Endpoint repliziert Stimmen über Data-Residency-Umgebungen hinweg.

Zero Retention Mode

Für besonders sensible Workflows bietet ElevenLabs einen Zero Retention Mode: Anfrage- und Antwortdaten werden unmittelbar nach der Verarbeitung gelöscht statt gespeichert. Auch dieser Modus ist Enterprise-Kunden vorbehalten. Technisch wird er über den Query-Parameter enable_logging=false gesetzt, in Agents alternativ pro Agent in den Privacy-Einstellungen. Abgedeckt sind laut Doku Text-to-Speech, Speech-to-Text, Text-to-Dialogue, Voice Changer und Agents sowie seit dem 19. Oktober 2026 Music (Generierung, Composition Plan, Stem-Separation, Video to Music; nicht Upload und Fine-Tuning) und Sound Effects.

Zwei Punkte aus der Praxis: Web-UI und Playground sind nie abgedeckt – die Nutzung muss auf die API gelenkt werden. Und der Support ist im Zero Retention Mode eingeschränkt, weil keine Diagnoseprotokolle vorliegen.

EU AI Act und Kennzeichnung

• Für synthetische Audioinhalte gelten unter dem EU AI Act Transparenzpflichten; die entsprechenden Vorgaben greifen ab August 2026
• SynthID und Audio Detector sind ein technischer Nachweis der Herkunft, ersetzen aber keine an die Nutzerin oder den Nutzer gerichtete Kennzeichnung – ein hörbarer oder sichtbarer Hinweis bleibt organisatorisch zu regeln
• Empfehlung: interne Policy zur Kennzeichnung von KI-Audio in Kunden- und Mitarbeiterkommunikation, insbesondere bei Telefonassistenten

Voice Cloning: Einwilligung und Missbrauchsschutz

• ElevenLabs setzt beim Voice Cloning ein Voice CAPTCHA ein: Wer eine Stimme klont, muss einen eingeblendeten Text innerhalb weniger Sekunden vorlesen. Das belegt, dass die anfragende Person bei der Aufnahme anwesend war – es belegt nicht, dass ihr die Stimme gehört
• Die Nutzungsbedingungen untersagen nicht einvernehmliches Klonen, täuschende Deepfakes sowie das Umgehen der Verifikationsmechanismen
• Die dokumentierte Einwilligung der gecloneten Person ist und bleibt eine eigene Pflicht des Unternehmens
• Bei Markenstimmen: vertragliche Regelung mit Sprecherinnen und Sprechern zwingend, inklusive Regelung zur Weiternutzung nach Ende der Geschäftsbeziehung

Wenn ElevenLabs über einen Drittanbieter läuft

Viele Voice-Agent- und Telefonassistenz-Produkte im europäischen Markt nutzen ElevenLabs als Sprachschicht, ohne dass das im Frontend sichtbar wird. Der eigentliche Vertragspartner ist dann der Produktanbieter, ElevenLabs ist Unterauftragsverarbeiter. Zu klären ist, in welcher Region der Anbieter ElevenLabs anspricht, ob er selbst einen Enterprise-Vertrag mit EU-Datenresidenz und Zero Retention Mode hat, und wie lange Gesprächsaufnahmen und Transkripte auf beiden Ebenen vorgehalten werden.

Modell-Lebenszyklus

• eleven_monolingual_v1 und eleven_multilingual_v1: am 9. Juli 2026 abgeschaltet – Migration auf Multilingual v2 oder neuer
• scribe_v1: am 9. Juli 2026 abgeschaltet – Migration auf Scribe v2 oder Scribe v2 Realtime
• eleven_turbo_v2 und eleven_turbo_v2_5: in der Doku als deprecated geführt, Nachfolger sind Flash v2 bzw. Flash v2.5
• Eleven v3 und v3 Conversational: weiterhin verfügbar, in der Doku als vorherige Generation geführt; Nachfolger sind v4 und v4 Turbo

Wer ElevenLabs über einen Drittanbieter nutzt, sollte prüfen, welches Modell dieser tatsächlich aufruft – abgekündigte Modell-IDs sind ein häufiger Grund für stillschweigende Qualitätswechsel.

Modellauswahl nach Use-Case

Integration in Enterprise-Workflows

• REST-API mit umfangreichen Streaming-Optionen
• WebSocket-Streams für Echtzeit-Konversationen und Live-Transkription
• SDKs: Python, JavaScript/Node.js, iOS, Android, React Native sowie ein CLI und ein MCP-Server
• Agents: frei wählbares LLM als Backbone, Knowledge Base mit RAG, Tool-Calls, Guardrails und automatisierte Agent-Tests

Unsere Empfehlung

Für hochqualitative Sprachausgabe ist Eleven v4 die naheliegende Wahl, für Telefonassistenten und Voice-Agents Eleven v4 Turbo – testen Sie geklonte Markenstimmen vor der Migration, weil sich Klang und Akzentverhalten gegenüber v3 ändern können. Wer einen Voice-Agent ohne eigene Auswahl von LLM, ASR und TTS aufbauen will, kann Eleven Realtime testen; mit Zero Retention Mode oder HIPAA kommt dabei nur v1 Max in Frage. Für Transkription empfehlen wir Scribe v2 (Batch) beziehungsweise Scribe v2 Realtime (im Agent), für medizinische Audioinhalte Scribe v2 Medical, für mehrsprachige Video-Lokalisierung Dubbing v2 und für werblich nutzbare KI-Musik Music v2.5 (Music v2 bleibt als Alternative verfügbar) – beide Musikmodelle profitieren von den lizenzierten Trainingsdaten.

Für DSGVO-kritische Anwendungen führt der Weg über den Enterprise-Tier: EU-Datenresidenz und Zero Retention Mode sind dort verfügbar, in den Standardtarifen nicht. Auf die EU beschränkt bleibt laut Doku auch die Verarbeitung nur, wenn die EU-Umgebung mit Zero Retention Mode über die API genutzt wird. Wer ElevenLabs nur indirekt über ein Voice-Agent-Produkt nutzt, sollte diese Punkte beim Anbieter schriftlich abfragen, bevor personenbezogene Gesprächsdaten fließen. Ergänzend empfehlen wir eine interne Policy zur Kennzeichnung von KI-Audio – SynthID liefert die technische Nachweisbarkeit, die Kennzeichnung gegenüber Betroffenen bleibt eine organisatorische Aufgabe.

Je nach Use-Case prüfen wir alternativ OpenAI gpt-4o-mini-tts (gut in den OpenAI-Stack integriert) oder Cartesia Sonic (auf niedrige Latenz ausgelegt). Kontaktieren Sie uns für eine Beratung zur passenden Audio-Modellstrategie.