Digitale Souveränität in herausfordernden Zeiten

Wir leben in einer Ära, die von schnellen technologischen Fortschritten und globalen Unsicherheiten geprägt ist. In solchen herausfordernden Zeiten gewinnt die digitale Souveränität zunehmend an Bedeutung, insbesondere für Unternehmen in Europa. Während globale Hyperscaler wie AWS, Google und Azure unbestreitbar leistungsstarke Dienste anbieten, stehen viele Unternehmen vor der Herausforderung, ihre Daten und Anwendungen in einer Umgebung zu betreiben, die sowohl sicher als auch konform mit europäischen Datenschutzstandards ist. Den Datenschutz kann man derzeit zwar mit Google Cloud, Microsoft Azure und auch mit AWS einhalten, allerdings gibt es dennoch Branchen wie zum Beispiel ein Krankenhaus oder Sozialversicherungen die nicht ohne weiteres einen Hyperscaler einsetzen können. Hier setzt STACKIT an – eine souveräne Cloud-Lösung aus Deutschland, die eine attraktive Alternative zu den globalen Anbietern darstellt und dabei hilft, die digitale Unabhängigkeit zu wahren.

Was ist STACKIT? Eine souveräne Cloud-Alternative aus Deutschland

STACKIT steht für eine unabhängige und datensouveräne Cloud-Infrastruktur, die speziell auf die Bedürfnisse europäischer Unternehmen zugeschnitten ist. Im Gegensatz zu globalen Anbietern bietet STACKIT eine 100% europäische Cloud, die den strengen Anforderungen der Datenschutz-Grundverordnung (DSGVO) und auch weiteren Normen wie C5 gerecht wird. Dies bedeutet, dass Unternehmen die vollständige Kontrolle über ihre Daten behalten und sicherstellen können, dass diese nicht außerhalb der EU gespeichert oder verarbeitet werden. Durch den Einsatz von Open-Source-Technologien vermeidet STACKIT ein Vendor Lock-In, was Flexibilität und Autarkie gewährleistet.Die Infrastruktur von STACKIT wird regelmäßig von unabhängigen Instituten geprüft, um höchsten Sicherheitsstandards zu entsprechen. Als Teil der Schwarz Gruppe bietet STACKIT wirtschaftliche Solidität und Zuverlässigkeit, selbst in Krisenzeiten.

STACKIT Model Serving: Eine innovative Lösung für Künstliche Intelligenz

STACKIT Model Serving ist eine neue Dienstleistung, die es Unternehmen ermöglicht, Künstliche Intelligenz (KI) effizient und sicher in ihre Anwendungen zu integrieren. Diese vollständig verwaltete Hosting-Umgebung ist speziell auf Große Sprachmodelle (Large Language Models, LLMs) zugeschnitten und bietet Vorteile für Unternehmen, die KI-Technologien nutzen möchten, ohne sich um die technischen Details des Model-Hostings kümmern zu müssen. Ähnliche Produkte kennen wir bereits von Azure mit Azure OpenAI, Google mit VertexAI LLM Serving und auch von AWS mit Bedrock.

Anders als die drei genannten ermöglicht STACKIT Model Serving das Deployment, die Skalierung und die Wartung von KI-Modellen in einer sicheren und datensouveränen Umgebung. Unternehmen können sich somit auf die Entwicklung ihrer KI-getriebenen Anwendungen konzentrieren, während STACKIT die Infrastruktur verwaltet. Dies erleichtert den Zugang zu leistungsstarken Modellen und beschleunigt die Umsetzung von KI-Projekten.

Aktuell verfügbare Modelle

In der Beta-Phase bietet STACKIT Model Serving eine Auswahl an leistungsstarken und Open-Source-basierten Modellen, die den spezifischen Anforderungen unterschiedlicher Anwendungsfälle gerecht werden. Zu den verfügbaren Modellen gehören:

• neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8: Ein hochentwickeltes Sprachmodell, das auf der Meta-Llama-Architektur basiert und für präzise und kontextbezogene Anweisungen optimiert ist.
• neuralmagic/Mistral-Nemo-Instruct-2407-FP8: Ein weiteres leistungsstarkes Modell, das sich durch seine Kompatibilität mit OpenAI-Standards auszeichnet.
• intfloat/e5-mistral-7b-instruct: Ein Modell, das sich besonders für Einbettungsaufgaben eignet und flexible Einsatzmöglichkeiten bietet.

In Zukunft wird das Portfolio weiter ausgebaut, sodass noch mehr Modelle zur Verfügung stehen werden, um den wachsenden Anforderungen gerecht zu werden.

STACKIT KI-Modelle mit dem OpenAI SDK verwenden

Um die Leistungsfähigkeit von STACKIT Model Serving praktisch zu demonstrieren, möchten wir ein einfaches Beispiel vorstellen, das zeigt, wie man mit dem OpenAI SDK ein einfaches „Hello World“-Programm erstellt. Dieses Beispiel ist API-kompatibel mit dem OpenAI SDKs und eignet sich auch für technisch weniger versierte Anwender.

Voraussetzungen

Bevor Sie starten, stellen Sie sicher, dass Sie die folgenden Voraussetzungen erfüllen:

1. Python installiert: Stellen Sie sicher, dass Python auf Ihrem System installiert ist.
2. API-Schlüssel von STACKIT: Sie benötigen einen gültigen API-Schlüssel von STACKIT, den Sie in Ihrem Konto generieren können. Als STACKIT Partner unterstützt Sie die innFactory gerne beim Onboarding.

Schritt 1: Projekt einrichten

Erstellen Sie zunächst ein neues Verzeichnis für Ihr Projekt und wechseln Sie in dieses Verzeichnis:

Schritt 2: Pakete installieren

Erstellen Sie eine Datei namens requirements.txt mit folgendem Inhalt:

openai

Installieren Sie die erforderlichen Pakete mit pip:

Schritt 3: Python-Skript erstellen

Erstellen Sie eine Datei namens hello_llm.py und fügen Sie den folgenden Code ein:

import os
from openai import OpenAI

client = OpenAI(api_key=os.getenv("STACKIT_API_KEY"), 
                base_url="https://api.openai-compat.model-serving.eu01.onstackit.cloud/v1")

def list_models():
    response = client.models.list()
    return response

def create_completion(model_id, prompt):
    response = client.completions.create(model=model_id,
    prompt=prompt,
    max_tokens=50)
    return response

def main():
    # Schritt 1: Liste der Modelle abrufen
    models = list_models().data
    print("Verfügbare Modelle:")
    for model in models:
        print(model.id)

    # Schritt 2: Testaufruf mit "Hallo Welt" durchführen
    model_id = "neuralmagic/Mistral-Nemo-Instruct-2407-FP8"
    prompt = "Hallo Welt"
    print("Testaufruf mit Modell:", model_id)
    completion_response = create_completion(model_id, prompt)
    print("Antwort:\n", completion_response.choices[0].text)

if __name__ == "__main__":
    main()

Schritt 4: Umgebungsvariable setzen

Setzen Sie Ihre STACKIT API-Schlüssel als Umgebungsvariable. Dies kann je nach Betriebssystem unterschiedlich erfolgen.

Für Unix/Linux/macOS:

Für Windows (Eingabeaufforderung):

Schritt 5: Skript ausführen

Führen Sie das Python-Skript aus:

Sie sollten eine Liste der verfügbaren Modelle sehen und eine Antwort vom LLM erhalten, der auf den „Hallo LLM!“-Prompt reagiert.

Erklärungen zum Code

• Importieren von Bibliotheken: Der Code importiert die notwendigen Bibliotheken, einschließlich os für Umgebungsvariablen und OpenAI für die Interaktion mit der STACKIT API.
• Client-Initialisierung: Ein OpenAI-Client wird mit dem API-Schlüssel und der BASE_URL von STACKIT initialisiert.
• Modellauflistung: Die Funktion list_models ruft die verfügbaren Modelle von STACKIT ab und gibt sie zurück.
• Erzeugen einer Vervollständigung: Die Funktion create_completion sendet einen Prompt an ein spezifisches Modell und erhält eine Antwort.
• Hauptfunktion: Beim Ausführen des Skripts werden die verfügbaren Modelle aufgelistet und ein Testaufruf mit dem Prompt „Hallo LLM!“ durchgeführt.

Dieses einfache Beispiel zeigt, wie leicht es ist, mit dem OpenAI SDK und STACKIT Model Serving zu arbeiten.

innFactory als offizieller STACKIT-Partner: Kompetent und engagiert

innFactory ist ein offizieller Partner von STACKIT und unterstützt Unternehmen dabei, die Vorteile der STACKIT Cloud und des Model Servings optimal zu nutzen. Als erfahrene KI-Beratung bieten wir umfassende Beratung und technische Unterstützung, um maßgeschneiderte KI-Lösungen zu planen und zu entwickeln, die den individuellen Anforderungen und Sicherheitsstandards Ihrer Branche entsprechen.

STACKIT Model Serving – Eine leistungsstarke und souveräne Lösung

STACKIT Model Serving ist eine leistungsstarke und gleichzeitig datensichere Lösung für Unternehmen, die Künstliche Intelligenz effizient und unabhängig nutzen möchten. Besonders in stark regulierten Branchen bietet STACKIT eine einzigartige Kombination aus technischer Exzellenz und vollständiger Datensouveränität, die mit den globalen Anbietern AWS, Google und Azure oft nicht erreichbar ist. Mit den verfügbaren Modellen und der kontinuierlichen Erweiterung des Portfolios eignet sich STACKIT Model Serving für eine Vielzahl von Anwendungsfällen, die hohe Sicherheits- und Compliance-Anforderungen stellen.

Durch die Zusammenarbeit mit innFactory als Ihrem offiziellen STACKIT-Partner profitieren Sie von umfassender Expertise und maßgeschneiderten Lösungen, die Ihre digitale Souveränität stärken und Ihr Unternehmen zukunftssicher aufstellen. Entdecken Sie die Möglichkeiten von STACKIT Model Serving und kontaktieren Sie uns für weitere Informationen. Gemeinsam legen wir das Fundament für eine innovative und unabhängige digitale Zukunft Ihres Unternehmens.