In der Welt der künstlichen Intelligenz gibt es immer wieder Durchbrüche, die die Technologiebranche in Aufruhr versetzen. Einer dieser Meilensteine ist das kürzlich vorgestellte Sprachmodell DeepSeek-R1 des chinesischen Startups DeepSeek. Das Modell hat nicht nur in Fachkreisen für Begeisterung gesorgt, sondern auch erhebliche Auswirkungen auf die Aktienmärkte und die Strategien etablierter Tech-Giganten gehabt.

Ein aufstrebendes Unternehmen mit starker Rückendeckung

DeepSeek, gegründet im April 2023 von Liang Wenfeng in Hangzhou, Zhejiang, ist kein gewöhnliches Startup. Unterstützt wird das Unternehmen vom Hedgefonds High-Flyer, der ebenfalls in Hangzhou ansässig ist. High-Flyer wurde 2015 von drei Ingenieuren der Universität Zhejiang gegründet und verwaltete 2020 ein Vermögen von über 7 Milliarden Dollar. Das Team von High-Flyer umfasst talentierte Köpfe, darunter Olympiamedaillengewinner in Mathematik, Physik und Informatik. Anders als in vielen Beiträgen dargestellt, verfügt auch DeepSeek über einer beeindruckenden Infrastruktur von rund 50.000 GPUs und kann so in der obersten Liga der KI-Forschung mitspielen.

Technologischer Durchbruch mit DeepSeek-R1

Am 13. Januar 2025 präsentierte DeepSeek das Large Language Model (LLM) DeepSeek-R1. Dieses Modell basiert auf modernsten maschinellen Lerntechnologien und verwendet eine Mixture-of-Experts (MoE)-Architektur mit eindrucksvollen 671 Milliarden Parametern. Für den Betrieb des Modells sind mehr als 16 GPUs mit jeweils 80 GB Speicher erforderlich, was die enorme Größe und Komplexität von DeepSeek-R1 unterstreicht. Anders wie oft dargestellt können nur die kleineren Modelle lokal gehosted werden, nicht aber das Spitzenmodell.

Ein Blick ins Forschungsdokument

Das begleitende Paper „DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning“ bietet einen detaillierten Einblick in den Entwicklungsprozess:

• Reinforcement Learning ohne Supervised Fine-Tuning: DeepSeek wählte einen unkonventionellen Ansatz, indem es auf umfangreiche vorab gelabelte Datensätze verzichtete und stattdessen direkt mit Reinforcement Learning (RL) arbeitete. Das Modell lernte durch Belohnungsmechanismen und entwickelte eigenständig beeindruckende Fähigkeiten im logischen Denken und Problemlösen.

• Emergente Fähigkeiten: Während des Trainings zeigte DeepSeek-R1 bemerkenswerte Eigenschaften wie Selbstüberprüfung, Reflektion und die Fähigkeit, längere und komplexere Gedankengänge zu entwickeln. Diese Fähigkeiten entstanden ohne direkte menschliche Anleitung, was die Effektivität des RL-Ansatzes unterstreicht.

• Group Relative Policy Optimization (GRPO): Zur Effizienzsteigerung nutzte DeepSeek die GRPO-Methode. Diese verzichtet auf ein separates Kritiker-Modell und schätzt stattdessen die Baseline anhand von Gruppenscores, was den Rechenaufwand reduziert.

• Offene Lizenzierung und Distillation: DeepSeek veröffentlichte das Modell unter der MIT-Lizenz, was eine uneingeschränkte kommerzielle und akademische Nutzung ermöglicht. Zusätzlich wurden sechs „distillierte“ Versionen bereitgestellt. Diese kleineren Modelle, basierend auf Qwen und Llama und trainiert auf 800.000 Beispielen ohne weiteren RL-Prozess, sind frei verfügbar. Sie erreichen jedoch nicht die Leistungsfähigkeit des großen R1-Modells.

Kontroverse um Trainingsdaten und Transparenz

Ein zentraler Punkt, der im Paper nicht ausführlich behandelt wird, ist die Art der verwendeten Trainingsdaten. Es bleibt unklar, welche spezifischen Datensätze oder Quellen für das Training von DeepSeek-R1 genutzt wurden. Dieses Mysterium ist jedoch nicht einzigartig für DeepSeek. Auch bei vielen US-amerikanischen Modellen, einschließlich OpenAI’s GPT-4, sind die genauen Trainingsdaten oft nicht offengelegt. Dies wirft Fragen nach Transparenz, Datenqualität und ethischen Standards auf. Ohne Kenntnis der Datenquellen ist es schwierig zu beurteilen, ob das Modell unbeabsichtigte Verzerrungen enthält oder auf bestimmte Weise beeinflusst ist.

Missverständnisse und Klarstellungen

Mit dem Aufstieg von DeepSeek-R1 kursierten zahlreiche Fehlinformationen:

• Kosten des Trainings: Entgegen einiger Behauptungen beliefen sich die Kosten für das Training nicht nur auf etwa 6 Millionen US-Dollar. Allein die Rechenleistung für das Basismodell ohne RL entsprach GPU-Stunden im Wert von etwa 5,5 Millionen US-Dollar. Zusätzliche Kosten für Tests, kleinere Läufe, Datengenerierung und das eigentliche Training von DeepSeek-R1 sind dabei noch nicht berücksichtigt.

• Ressourcen und Infrastruktur: DeepSeek verfügt über eine beeindruckende Infrastruktur mit rund 50.000 GPUs, was deutlich mehr ist als einige Quellen vermuten ließen.

• Bedeutung des Projekts: DeepSeek-R1 ist kein Nebenprojekt. Mit der erheblichen finanziellen Unterstützung von High-Flyer und einem talentierten Team ist es ein zentrales Vorhaben mit strategischer Bedeutung.

• Leistung der distillierten Modelle: Die kleineren Versionen des Modells, obwohl frei verfügbar und lokal ausführbar, erreichen nicht die Leistungsfähigkeit des großen DeepSeek-R1.

• Datennutzung: Nutzer sollten sich bewusst sein, dass die gehostete Version auf chat.deepseek.com gemäß den Nutzungsbedingungen Daten zur Verbesserung zukünftiger Modelle verwenden könnte.

Auswirkungen auf die Tech-Branche und die Börsen

Die Veröffentlichung von DeepSeek-R1 hatte spürbare Auswirkungen auf die globale Technologiebranche:

1. Herausforderung für etablierte Unternehmen: DeepSeek-R1 erreicht ein Leistungsniveau, das mit marktführenden Modellen konkurriert, jedoch mit mutmaßlich geringeren Investitionen. Dies stellt das Geschäftsmodell westlicher KI-Unternehmen infrage und könnte zu einem verstärkten Wettbewerb und Preisdruck führen. Der Betrieb von 50.000 GPUs sollte dennoch nicht unterschätzt werden.

2. Aktienmarktreaktionen: Nach der Bekanntgabe verzeichneten einige westliche Technologieaktien Rückgänge von 5 bis 10 %. Investoren reagieren sensibel auf Anzeichen einer möglichen Verschiebung in der Technologieführerschaft.

3. Wachsende Open-Source-Bewegung: Die offene Lizenzierung von DeepSeek-R1 könnte den Trend zur Kollaboration und Transparenz in der KI-Forschung verstärken. Plattformen wie Hugging Face arbeiten bereits an vollständig offenen Reproduktionspipelines, was langfristig allen Akteuren zugutekommen kann.

Europa im digitalen Wettlauf

DeepSeek-R1 markiert einen Wendepunkt in der KI-Branche. Ein chinesisches Startup demonstriert, dass mit innovativen Ansätzen und substantieller Unterstützung leistungsfähige Modelle entwickelt werden können, die es mit den Marktführern aufnehmen. Dies unterstreicht die Notwendigkeit für alle Akteure, einschließlich Europa, in Forschung und Entwicklung zu investieren, Transparenz zu fördern und ethische Standards einzuhalten.

Die Entwicklungen rund um DeepSeek-R1 werfen aber auch die Frage auf, wo die Europäische Union in diesem technologischen Wettstreit überhaupt steht. Trotz herausragender Forschungsinstitute und eines reichen Talentpools gelingt es Europa oft nicht, Innovationen in marktfähige Produkte zu überführen. Während China und die USA massiv in KI investieren und staatliche Unterstützung bieten, scheint Europa zwischen den Fronten zu stehen und zuzuschauen. Wenn wir als EU nichts unternehmen, bleibt uns am Ende wie auch beim Cloud Computing nur die Anwendung der Technologien aus den USA und aus China.