Google Gemma ist die Open-Weights-Modellfamilie von Google DeepMind, entwickelt auf Basis derselben Forschung wie Gemini. Anders als Gemini lassen sich Gemma-Modelle herunterladen, lokal betreiben, feintunen und kommerziell nutzen. Aktuell sind die Sprachmodelle der Gemma-4-Familie (E2B bis 31B, Apache 2.0) und das multimodale Embedding-Modell EmbeddingGemma 2 (seit 6. Oktober 2026). Weil die Gewichte offen sind, bleibt bei Self-Hosting jede Information in Ihrer Infrastruktur.
innFactory AI Consulting aus Rosenheim berät Unternehmen in Bayern und im DACH-Raum zum DSGVO-konformen Self-Hosting von Google Gemma, von der Modellauswahl über das Deployment bis zum Fine-Tuning. Stand dieser Übersicht: Oktober 2026.
Aktuelle Modelle im Überblick
| Modell | Typ | Release | Parameter | Kontext | Eingabe | Lizenz |
|---|---|---|---|---|---|---|
| EmbeddingGemma 2 | Embedding | 6. Oktober 2026 | 740 Mio. (270 Mio. nur Text) | 8.192 | Text, Code, Bild, Video, Audio | Apache 2.0 |
| Gemma 4 31B | Dense | 2. April 2026 | 30,7 Mrd. | 256K | Text, Bild, Video | Apache 2.0 |
| Gemma 4 26B A4B | MoE | 2. April 2026 | 25,2 Mrd. (3,8 Mrd. aktiv) | 256K | Text, Bild, Video | Apache 2.0 |
| Gemma 4 12B Unified | Dense, encoder-frei | 3. Juni 2026 | 11,95 Mrd. | 256K | Text, Bild, Video, Audio | Apache 2.0 |
| Gemma 4 E4B | Dense, Edge | 2. April 2026 | 4,5 Mrd. effektiv | 128K | Text, Bild, Video, Audio | Apache 2.0 |
| Gemma 4 E2B | Dense, Edge | 2. April 2026 | 2,3 Mrd. effektiv | 128K | Text, Bild, Video, Audio | Apache 2.0 |
| TranslateGemma | Übersetzung | 15. Januar 2026 | 4B, 12B, 27B | – | Text | Gemma Terms of Use |
| FunctionGemma | Function Calling | Dezember 2025 | 270 Mio. | – | Text | Gemma Terms of Use |
Release-Daten laut Google (Gemma-Release-Seite, Google-Blog), Parameter und Kontext laut Modellkarten auf Hugging Face. Ältere Generationen (Gemma 3, Gemma 2) stehen weiterhin zum Download bereit, siehe Vorgängergenerationen. Für den medizinischen Bereich gibt es MedGemma.
Gemma 4: die aktuelle Sprachmodell-Generation
Gemma 4 basiert auf der Forschung hinter Gemini 3 und bringt gegenüber Gemma 3 einen integrierten Thinking-Modus, längere Kontextfenster und Audio-Eingabe bei den kleineren Modellen. Google hat die Familie am 2. April 2026 vorgestellt und unter Apache 2.0 veröffentlicht.
Wichtigste Eigenschaften
- Thinking-Modus: Integriertes Reasoning für Mathematik, Naturwissenschaft und mehrstufige Aufgaben
- Kontext: 256K Token bei 12B, 26B A4B und 31B, 128K Token bei E2B und E4B
- Multimodal: Alle Modelle verarbeiten Text, Bild und Video (als Frames, bis etwa 60 Sekunden bei 1 fps); Audio-Eingabe bis 30 Sekunden unterstützen nur E2B, E4B und 12B
- MoE-Variante: Gemma 4 26B A4B nutzt 128 Experten, davon 8 aktiv plus einen geteilten, und rechnet je Token mit 3,8 Mrd. Parametern
- Effektive Parameter: E2B und E4B setzen auf Per-Layer Embeddings, daher liegt die effektive Parameterzahl deutlich unter der Gesamtzahl
- Sprachen: Direkte Unterstützung für über 35 Sprachen, vortrainiert auf über 140
- Agentic Workflows: Function Calling und strukturierte Ausgaben für mehrstufige Abläufe
- Wissensstand: Pretraining-Daten bis Januar 2025 laut Modellkarte
Gemma 4 12B Unified, QAT und MTP
- Gemma 4 12B Unified (3. Juni 2026): Mittelgroßes Modell mit encoder-freier Architektur. Bild-Patches und Audio-Wellenformen werden über schlanke lineare Schichten direkt in den Embedding-Raum des Sprachmodells projiziert, statt über separate Encoder. Das senkt laut Google die multimodale Latenz und erlaubt Fine-Tuning des gesamten Modells in einem Durchgang. Mit 256K Kontext und rund 12 Mrd. Parametern läuft es laut Google auf Laptops mit 16 GB RAM/VRAM.
- QAT-Checkpoints (5. Juni 2026): Quantization-Aware-Training-Versionen aller Gemma-4-Größen auf Hugging Face, mit bis zu 72 % weniger VRAM-Bedarf bei nahezu identischer Qualität zum BF16-Original. Sinnvoll für Consumer-GPUs und On-Device-Einsatz.
- MTP-Checkpoints (16. April 2026): Varianten mit Multi-Token Prediction für E2B, E4B, 26B A4B und 31B.
Benchmarks der Gemma-4-Familie
Werte laut Modellkarte auf Hugging Face (instruction-tuned):
| Benchmark | 31B | 26B A4B | 12B Unified | E4B | E2B | Gemma 3 27B |
|---|---|---|---|---|---|---|
| MMLU Pro | 85,2 % | 82,6 % | 77,2 % | 69,4 % | 60,0 % | 67,6 % |
| AIME 2026 (ohne Tools) | 89,2 % | 88,3 % | 77,5 % | 42,5 % | 37,5 % | 20,8 % |
| LiveCodeBench v6 | 80,0 % | 77,1 % | 72,0 % | 52,0 % | 44,0 % | 29,1 % |
| GPQA Diamond | 84,3 % | 82,3 % | 78,8 % | 58,6 % | 43,4 % | 42,4 % |
| Tau2 (Durchschnitt über 3 Domänen) | 76,9 % | 68,2 % | 69,0 % | 42,2 % | 24,5 % | 16,2 % |
| MMMLU | 88,4 % | 86,3 % | 83,4 % | 76,6 % | 67,4 % | 70,7 % |
| MMMU Pro (Vision) | 76,9 % | 73,8 % | 69,1 % | 52,6 % | 44,2 % | 49,7 % |
| MRCR v2 8 Needle 128k | 66,4 % | 44,1 % | 43,4 % | 25,4 % | 19,1 % | 13,5 % |
Der Abstand zu Gemma 3 27B ist vor allem bei Reasoning und Code groß: LiveCodeBench steigt von 29,1 % auf 80,0 %, AIME 2026 von 20,8 % auf 89,2 %. Gemma 4 12B Unified liegt bei allen aufgeführten Werten über Gemma 3 27B, bei weniger als der Hälfte der Parameter.
EmbeddingGemma 2: multimodale Embeddings für lokale Suche und RAG
Am 6. Oktober 2026 hat Google DeepMind EmbeddingGemma 2 veröffentlicht, den Nachfolger des textbasierten EmbeddingGemma aus dem Jahr 2025 (308 Mio. Parameter). Das Modell bildet Text (inklusive Code), Bilder, Videos und Audio in einen gemeinsamen Vektorraum ab. Eine Textanfrage findet damit auch passende Bilder, Videoszenen oder Audiomitschnitte, ohne dass vorher transkribiert oder beschriftet werden muss. Es steht unter Apache 2.0 und baut laut Modellkarte auf Gemma 4 auf.
Eckdaten
- Größe: 740 Mio. Parameter, modular aufgebaut aus Backbone (130 Mio.), Embedder (140 Mio.), Vision-Encoder (170 Mio.) und Audio-Encoder (300 Mio.). Nicht benötigte Encoder lassen sich abschalten: 270 Mio. für Text, 440 Mio. für Text und Bild, 570 Mio. für Text und Audio, 740 Mio. voll.
- Speicherbedarf: Laut Google quantisiert auf einem Pixel 11 Pro rund 191 MB RAM für reine Text-Workloads und 567 MB für das voll multimodale Modell.
- Kontext: 8.192 Token gemeinsam für alle Modalitäten, viermal so viel wie beim Vorgänger. Das entspricht laut Google bis zu 5,5 Minuten Audio, 29 Bildern oder 58 Videoframes.
- Dimensionen: 768, per Matryoshka Representation Learning kürzbar auf 512, 256 oder 128 (bis zu sechsfach weniger Speicher im Vektorindex). Bis 256 Dimensionen bleibt die Qualität laut Modellkarte nahezu verlustfrei; 128 Dimensionen verschlechtern multimodale Aufgaben deutlich.
- Sprachen: über 100, die Qualität variiert je Sprache.
- Wissensstand: Pretraining-Daten bis Januar 2025.
Benchmarks laut Modellkarte
| Modalität | Benchmark | EmbeddingGemma 2 | EmbeddingGemma 1 |
|---|---|---|---|
| Text | MTEB Multilingual v2 (Mean Task) | 61,36 | 61,15 |
| Code | MTEB Code v1 (NDCG@10) | 78,68 | 68,76 |
| Bild | MIEB lite | 64,64 | – |
| Bild | MMEB v2 Image (Hit@1) | 57,28 | – |
| Visuelle Dokumente | MMEB v2 VisDoc (NDCG@5) | 67,84 | – |
| Video | MMEB v2 Video (Hit@1) | 50,67 | – |
| Audio | MSEB Retrieval (MRR@10) | 69,54 | – |
| Audio | MAEB | 49,39 | – |
Werte bei 768 Dimensionen und voller Präzision (Modellkarte auf Hugging Face). Bei Text bleibt die Qualität auf dem Niveau des Vorgängers, bei Code legt das Modell rund zehn Punkte zu.
Einsatz und Integration
- Typische Anwendungen: Semantische Suche über Bild-, Video- und Audioarchive, Szenensuche in Videos per Text- oder Audioanfrage, On-Device-RAG zusammen mit Gemma 4, Indexierung lokaler Codebasen für Coding-Agenten, Klassifikation und Routing.
- Bezug: Gewichte auf Hugging Face und Kaggle; unterstützt werden unter anderem transformers, sentence-transformers, vLLM, SGLang, MLX, llama.cpp (GGUF), Ollama und LM Studio, für den Browser transformers.js, für Mobilgeräte MediaPipe und LiteRT. Im Model Garden der Gemini Enterprise Agent Platform hat Google das Modell angekündigt, aber noch nicht bereitgestellt (Stand 13. Oktober 2026).
- Praxis-Hinweise: Textanfragen brauchen kurze Aufgaben-Präfixe (getrennt für Query und Dokument bei Suche und Q&A), Dokumente das Format
title: {Titel} | text: {Inhalt}. Rechnen inbfloat16oderfloat32;float16kann laut Modellkarte ohne Fehlermeldung unbrauchbare Embeddings liefern. Das Modell hat kein Safety-Post-Training, Filter gehören deshalb in die Retrieval-Pipeline.
Abgrenzung zu Gemini Embedding 2: Googles API-Modell gemini-embedding-2 ist seit dem 22. April 2026 stabil, liefert bis zu 3.072 Dimensionen und akzeptiert zusätzlich PDF. Es läuft aber nur als Dienst bei Google (siehe Google Gemini). EmbeddingGemma 2 ist die Wahl, wenn Embeddings lokal, offline oder vollständig in der eigenen Infrastruktur entstehen sollen.
Spezialisierte Varianten
TranslateGemma (15. Januar 2026)
- Größen: 4B, 12B und 27B Parameter
- Fokus: Übersetzung über 55 Sprachen (laut Google)
- Einsatz: Mehrsprachige Unternehmenskommunikation, Dokumentenlokalisierung ohne externe Übersetzungs-API
FunctionGemma (Dezember 2025)
- Größe: 270 Mio. Parameter
- Fokus: Basis für eigene, spezialisierte Function-Calling-Modelle; laut Google nach Fine-Tuning besonders leistungsfähig
- Einsatz: API-Integration, Workflow-Automatisierung, Agenten auf kleiner Hardware
Gemma Scope 2 (Dezember 2025)
- Typ: Interpretability-Suite für Gemma 3
- Nutzen: Einblick in interne Repräsentationen, etwa für Prüfungen in regulierten Branchen
Vorgängergenerationen: Gemma 3 und Gemma 2
Gemma 3 und Gemma 2 stehen weiterhin zum Download bereit und laufen in vielen bestehenden Deployments. Für sie gelten die Gemma Terms of Use, nicht Apache 2.0.
Gemma 3 Familie (2025)
| Modell | Parameter | VRAM | Empfohlene GPU | Kontext |
|---|---|---|---|---|
| Gemma 3 27B | 27B | 32+ GB | A100 / H100 | 128K |
| Gemma 3 12B | 12B | 16+ GB | RTX 4090 | 128K |
| Gemma 3 4B | 4B | 8 GB | RTX 4070 | 128K |
| Gemma 3 1B | 1B | 2 GB | Mobile / Edge | 32K |
| Gemma 3 270M | 0.27B | 1 GB | Mobile / Edge | 32K |
Gemma 2 Familie (2024)
| Modell | Parameter | VRAM | Empfohlene GPU | Kontext |
|---|---|---|---|---|
| Gemma 2 27B | 27B | 32+ GB | A100 | 8K |
| Gemma 2 9B | 9B | 12+ GB | RTX 4080 | 8K |
| Gemma 2 2B | 2B | 4 GB | RTX 3060 | 8K |
Vergleich: Gemma 4 vs. Gemini 4 Argon
| Aspekt | Gemma 4 | Gemini 4 Argon |
|---|---|---|
| Lizenz | Apache 2.0 (Open Weights) | Proprietär |
| Self-Hosting | Ja | Nein |
| Kosten | Hardware bzw. Cloud-Instanz | Pay-per-Use je Token |
| Multimodal | Text, Bild, Video, Audio (je nach Größe) | Text, Bild, Video, Audio, PDF |
| Kontext | bis 256K | 1.048.576 (Input und Output gemeinsam) |
| Thinking-Modus | Ja | Ja |
| DSGVO | Self-Hosting in eigener Infrastruktur | EU-Multi-Region auf der Agent Platform |
| Fine-Tuning | Möglich | Nicht unterstützt |
Details zu Gemini 4 Argon auf der Seite Google Gemini. Weitere offene Modellfamilien für Self-Hosting finden Sie in der KI-Modelle-Übersicht, etwa Meta Llama oder Qwen.
Einsatzgebiete
DSGVO-konforme Unternehmens-KI
- Sensible Daten bleiben in Ihrer Infrastruktur
- Keine Datenübertragung an externe Dienste
- Volle Kontrolle über Logging und Audit
Spezialisierte Anwendungen
- RAG-Systeme: Gemma 4 für die Antwort, EmbeddingGemma 2 für die Suche, beides lokal
- Multimodale Suche: Bild-, Video- und Audioarchive per Textanfrage durchsuchen
- Code-Assistenten: Interne Entwicklertools und Code-Suche
- Kundenservice: Chatbots ohne Datenweitergabe
- Mehrsprachigkeit: TranslateGemma für internationale Teams
- Workflow-Automation: FunctionGemma für API-Integration
Edge und Mobile
- Gemma 4 E2B/E4B: Edge-Modelle mit Thinking-Modus und Audio-Eingabe
- EmbeddingGemma 2: Suche auf dem Gerät mit unter 600 MB RAM laut Google
- Offline-fähig: Keine Internetverbindung nötig
- Niedrige Latenz: Lokale Verarbeitung
Verfügbarkeit in der EU und DSGVO
Bei Open-Weights-Modellen entscheidet der Betriebsort, nicht der Hersteller. Gemma lässt sich vollständig in der EU betreiben, die Wege unterscheiden sich aber deutlich:
| Betriebsweg | Wo läuft die Verarbeitung? | Einordnung |
|---|---|---|
| Self-Hosting (eigene Server, Private Cloud) | In Ihrer Infrastruktur | Volle Datenkontrolle, empfohlen für sensible Daten |
| Self-Deployment aus dem Model Garden der Gemini Enterprise Agent Platform | In der beim Deployment gewählten Region | EU-Region möglich; Beschleuniger-Verfügbarkeit je Region prüfen |
| Self-Deployment auf AWS (z. B. SageMaker, Frankfurt) oder Azure (z. B. Azure ML, West Europe) | In der gewählten Region | EU-Betrieb in eigener Instanz |
Verwaltete Gemma-4-API auf der Agent Platform (gemma-4-26b-a4b-it-maas) | Laut Modellseite global, ML Processing nur us | Experimentell, nicht für personenbezogene Daten mit EU-Residenzpflicht |
Gemma 4 ist zusätzlich über Hugging Face, Kaggle, Ollama, LM Studio und Docker erhältlich. Die Modellseite der verwalteten API nennt für Gemma 4 26B A4B den Launch-Status „Experimental“ (seit 3. April 2026), 262.144 Token Kontext und bis zu 128.000 Token Output. EmbeddingGemma 2 ist im Model Garden angekündigt; bis dahin läuft es über die eigenen Deployment-Wege oben.
Integration mit CompanyGPT
Gemma-Modelle können in CompanyGPT als Self-Hosted-Option integriert werden, für Unternehmen, die Google-Forschung mit vollständiger Datenkontrolle kombinieren möchten. Für Such- und RAG-Szenarien eignet sich EmbeddingGemma 2 als lokales Embedding-Modell, TranslateGemma für mehrsprachige Umgebungen.
Unsere Empfehlung
Gemma 4 31B ist die erste Wahl, wenn Sie ein offenes Modell mit hoher Reasoning- und Code-Qualität selbst betreiben wollen: MMLU Pro 85,2 %, LiveCodeBench v6 80,0 % und Thinking-Modus, unter Apache 2.0. Für Retrieval und Suche gehört EmbeddingGemma 2 dazu, besonders wenn neben Text auch Bilder, Videos, Audio oder Code durchsucht werden sollen.
Je nach Szenario empfehlen wir:
- Gemma 4 12B Unified für lokale Deployments auf Laptops oder kleinen Servern, mit Audio und 256K Kontext
- Gemma 4 26B A4B für schnelle Inferenz dank 3,8 Mrd. aktiver Parameter, wenn genug Speicher für das Gesamtmodell vorhanden ist
- Gemma 4 E4B/E2B für Edge-Anwendungen und ressourcenbegrenzte Umgebungen
- EmbeddingGemma 2 für lokale semantische Suche, On-Device-RAG und Code-Indexierung; für reine Text-Workloads in der 270-Mio.-Konfiguration
- TranslateGemma für mehrsprachige Unternehmen ohne externe Übersetzungs-API
- FunctionGemma als Basis für eigene Function-Calling-Modelle
Die verwaltete Gemma-API der Agent Platform empfehlen wir für personenbezogene Daten aus der EU derzeit nicht, da sie experimentell ist und in den USA verarbeitet. Wir unterstützen Sie bei Auswahl, Deployment und Fine-Tuning von Gemma-Modellen in Ihrer Infrastruktur.