Wie man GLM-5.3-Flash lokal ausführt

GLM-5.3-Flash ist ein Modell mit 320 Milliarden Parametern und MIT-Lizenz. Sie dürfen es frei ausführen, benötigen dafür aber entsprechende Hardware.

Interessant ist die Kombination aus 18 Milliarden aktiven Parametern pro Token und verfügbaren Quantisierungen. Dadurch ist das Modell auch auf Hardware unterhalb eines 8x-H200-Knotens einsetzbar.

Jetzt Apidog ausprobieren

Dieser Beitrag vergleicht die Hardware-Anforderungen – vom Full-Precision-Produktionsknoten bis zum quantisierten Workstation-Setup – und zeigt, wann Self-Hosting sinnvoll ist.

Was Sie tatsächlich laden

Eigenschaft	Wert
Gesamtparameter	320B
Pro Token aktiv	18B
Architektur	MoE, hybride lineare und Sparse-Attention
Kontext	1.048.576 Tokens
Lizenz	MIT
Gewichte	zai-org/GLM-5.3-Flash
GGUF-Quantisierungen	unsloth/GLM-5.3-Flash-GGUF

Das Mixture-of-Experts-Design reduziert den Rechenaufwand: Alle 320 Milliarden Parameter müssen im Speicher liegen, aber nur 18 Milliarden werden pro Token aktiviert. Die entscheidende Ressource ist daher der Speicher, nicht die FLOPS.

Z.ai gibt außerdem an, dass der KV-Cache etwa 4,4-mal kleiner als bei GLM-5.3 ist. Das ist bei langen Kontexten wichtig, denn der KV-Cache wächst mit dem Kontext und kann bei einem 1M-Token-Fenster zum eigentlichen Engpass werden.

Stufe 1: Volle Präzision auf einem Produktionsknoten

Für Full-Precision-Betrieb mit echter Parallelität ist ein 8x-H200-Knoten die Referenzkonfiguration. Jede H200 bietet 141 GB, insgesamt also etwa 1.128 GB. Ein 8x-H20-Knoten funktioniert ebenfalls.

Die Gewichte benötigen je nach Präzision grob 700 bis 800 GB. Zusätzlich brauchen Sie Speicher für KV-Cache und Laufzeit-Overhead. Ein gemieteter Knoten dieser Größe kostet etwa 24 bis 48 US-Dollar pro Tag.

vLLM

vLLM bietet derzeit die breiteste Ökosystemunterstützung. Verwenden Sie für die Tensor-Parallelität eine Zweierpotenz:

vllm serve zai-org/GLM-5.3-Flash \
  --tensor-parallel-size 8 \
  --max-model-len 1048576 \
  --trust-remote-code

Validieren Sie das Setup zunächst mit einem kleineren --max-model-len. Das vollständige Million-Token-Fenster reserviert sofort einen großen KV-Cache. Ein Fehlschlag sieht dann leicht wie ein Out-of-Memory-Problem statt wie eine falsche Konfiguration aus.

SGLang

SGLang bot Day-Zero-Unterstützung für das Modell und veröffentlichte Rezepte für H100, H200, B200, B300 und GB200, einschließlich multimodaler Bereitstellung. Z.ai nutzte für den eigenen Pre-Launch-Betrieb einen SGLang-basierten Stack.

python -m sglang.launch_server \
  --model-path zai-org/GLM-5.3-Flash \
  --tp 8 \
  --context-length 1048576

SGLang ist häufig bei strukturierten Ausgaben und hochparallelen agentenbasierten Workloads im Vorteil. Für einen Code-Agenten sollten Sie SGLang gegen vLLM benchmarken, statt die Standardwahl zu übernehmen.

Beide Stacks benötigen einen konfigurierten Tool-Call-Parser. Prüfen Sie die aktuellen Flags in der jeweiligen Dokumentation, da sich Parsernamen zwischen Releases ändern.

Stufe 2: Quantisierung auf kleinerer Hardware

Quantisierte GGUF-Builds werden unter unsloth/GLM-5.3-Flash-GGUF veröffentlicht, einschließlich aggressiver 1-Bit- und 2-Bit-Formate wie IQ1_S und IQ2_XXS.

Eine 2-Bit-Quantisierung reduziert den Speicherbedarf eines 320B-Modells so weit, dass eine Workstation mit viel RAM oder ein Multi-GPU-Consumer-Rig infrage kommt. CPU-Offload erweitert die Möglichkeiten zusätzlich.

Beachten Sie zwei Einschränkungen:

Aggressive Quantisierung kostet Qualität. IQ1_S liegt deutlich unter Full Precision. Bei einem 320B-MoE kann der Qualitätsverlust durch die zusätzliche Redundanz oft geringer ausfallen als bei einem dichten Modell. Trotzdem sind „läuft“ und „läuft gut“ verschiedene Aussagen. Testen Sie das Format mit Ihren realen Aufgaben.

Die Unsloth-Dokumentation ist als Work-in-Progress gekennzeichnet. Verfügbarkeit und empfohlene Einstellungen können sich ändern. Prüfen Sie vor der Planung, welche Builds tatsächlich veröffentlicht sind.

Für CPU-intensive und hybride Setups ist KTransformers geeignet. Die Laufzeit hält MoE-Experten im System-RAM und verschiebt nur notwendige Teile auf die GPU. Das passt besonders gut zu einem MoE-Modell mit 18 Milliarden aktiven Parametern. TokenSpeed wird ebenfalls als unterstützte Laufzeit aufgeführt.

Die Anleitung zum lokalen Ausführen von GLM-4.7-Flash behandelt die kleinere Modellversion dieses Workflows. GLM-5 kostenlos lokal ausführen erklärt das allgemeine lokale GLM-Setup.

Ihr Speicherbudget berechnen

Zwei Werte entscheiden, ob Ihre Konfiguration passt.

Gewichte

Bei etwa 2 Bytes pro Parameter in BF16 benötigen 320 Milliarden Parameter rund 640 GB vor Overhead. FP8 halbiert diesen Wert ungefähr. Eine 4-Bit-Quantisierung reduziert den Bedarf auf etwa 160 GB; 2-Bit-Formate gehen noch weiter herunter, verursachen aber deutlichere Qualitätseinbußen.

KV-Cache

Der KV-Cache skaliert mit Kontextlänge und Parallelität. Eine Konfiguration, die bei 8K Kontext funktioniert, kann bei 128K scheitern, weil der Cache wächst – nicht die Gewichte.

Die von Z.ai gemeldete Reduzierung um den Faktor 4,4 gegenüber GLM-5.3 hilft, die Skalierung bleibt jedoch linear zur Token-Anzahl.

Dimensionieren Sie daher für die tatsächlich benötigte Kontextlänge, nicht für das beworbene Maximum. Nur wenige Anwendungen benötigen eine Million Tokens. Ein unnötig großes Kontextfenster ist der häufigste Grund, warum das Modell unbezahlbar wirkt.

Falls Sie die Open-Weights-Entwicklung dieser Modellfamilie verfolgt haben: Unser Beitrag zum Self-Hosting von GLM-5.3 wurde vor der Veröffentlichung geschrieben. GLM-5.3-Flash ist inzwischen unter MIT veröffentlicht; die vorliegende Anleitung ersetzt daher die frühere Einschätzung.

Feinabstimmung

Die MIT-Lizenz erlaubt Feinabstimmung und Weiterverteilung. Bei einem Modell dieser Leistungsklasse ist das der stärkste Grund, die Gewichte selbst zu betreiben.

Eine vollständige Feinabstimmung eines 320B-Modells ist für die meisten Teams nicht realistisch. Parametereffiziente Verfahren wie LoRA sind der praktikable Ansatz. Bei einem MoE-Modell kommt außerdem die Designentscheidung hinzu, ob Sie Router, Experten oder Attention-Layer anpassen. Dafür gibt es weniger etablierte Richtlinien als bei dichten Modellen.

Geht es nur um Domänenanpassung, testen Sie zuerst Prompting und Retrieval mit dem Basismodell. Bei einem Kontextfenster von einer Million Tokens ist es häufig günstiger und effektiver, Domänenwissen in den Prompt einzubinden, statt es zu trainieren.

Sampling-Einstellungen

Z.ai empfiehlt folgende Werte:

Anwendungsfall	Temperatur	top_p
Allgemein	1.0	0.95
Kodieren	0.95	1.0

Das Modell unterstützt drei Denkmodi über reasoning_effort:

• low
• high
• max

max ist der Standard. Auf lokaler Hardware sind diese Einstellungen besonders relevant, weil Denk-Tokens zusätzliche Generierungszeit statt zusätzlicher API-Kosten verursachen. Bei langsamer Hardware kann low den Unterschied zwischen nutzbar und unbrauchbar ausmachen.

Lohnt sich Self-Hosting finanziell?

Meistens nicht. Der API-Preis ist dafür ausschlaggebend.

Zu Listenpreisen kostet GLM-5.3-Flash 0,15 US-Dollar pro Million Eingabetokens. Ein gemieteter 8x-H200-Knoten für etwa 1.000 US-Dollar pro Monat entspricht ungefähr 6,7 Milliarden Eingabetokens über die API.

Ein eigener Knoten verursacht Fixkosten – unabhängig davon, ob er ausgelastet ist. Die API berechnet dagegen nur die tatsächliche Nutzung. Bei fehlender konstant hoher Auslastung ist die API daher meist günstiger.

Die wichtigsten Gründe für Self-Hosting sind:

• Datenresidenz und Datenschutz: Ihre Daten verlassen die Infrastruktur nicht.
• Keine Ratenbegrenzungen: Ihre verfügbare Kapazität gehört Ihnen.
• Verfügbarkeitsgarantien: Sie hängen nicht von der Verfügbarkeit oder Preispolitik eines Anbieters ab.
• MIT-Lizenz: Sie können das Modell ändern, feinabstimmen und weiterverteilen.
• Bereits vorhandene Hardware: Bei gekauften, ungenutzten GPUs sind die Grenzkosten auf Strom begrenzt.

Unsere Preisanalyse vergleicht die API-Kosten ausführlicher.

Ihre Bereitstellung überprüfen

vLLM und SGLang stellen OpenAI-kompatible Endpunkte bereit. Dadurch können Sie dieselbe Anfrage an Ihren lokalen Server und an Z.ai senden:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "zai-org/GLM-5.3-Flash",
    "messages": [{"role": "user", "content": "reply with OK"}]
  }'

Prüfen Sie mehr als nur die Erreichbarkeit des Endpunkts:

• Langzeit-Kontext in der tatsächlich benötigten Länge
• Bildeingaben bei multimodaler Nutzung
• Tool-Calling mit Ihren realen Schemata
• Durchsatz unter parallelen Anfragen
• Einzelanfragen-Latenz

Eine gespeicherte Testsuite macht den Vergleich reproduzierbar. Richten Sie Apidog auf Ihren lokalen Server und den Z.ai-Endpunkt ein. Verwenden Sie die Basis-URL als Umgebungsvariable und führen Sie dieselbe Suite gegen beide Ziele aus.

So sehen Sie schnell, ob Ihr quantisierter Build die Tool-Schemata Ihrer Anwendung noch korrekt verarbeitet – bevor dieser Fehler in der Produktion auftritt.

FAQ

Was ist die Mindesthardware?

Für volle Präzision benötigen Sie einen 8x-H200-Knoten. Quantisierte GGUF-Builds benötigen deutlich weniger Hardware, allerdings sinkt die Qualität mit zunehmender Quantisierung.

Muss ich alle 320 Milliarden Parameter im Speicher haben?

Ja. Nur 18 Milliarden Parameter sind pro Token aktiv, aber alle Parameter müssen resident sein. Der Speicher ist der Engpass, nicht die Rechenleistung.

Was ist besser: vLLM oder SGLang?

SGLang bot Day-Zero-Unterstützung mit multimodalen Rezepten und ist häufig bei Parallelität und strukturierten Ausgaben schneller. vLLM bietet die breitere Ökosystemunterstützung. Benchmarken Sie beide mit Ihrer Arbeitslast.

Kann ich das Modell auf einer einzelnen GPU ausführen?

Nicht in voller Präzision. Mit aggressiver Quantisierung und CPU-Offload über KTransformers ist ein System mit einer GPU, viel GPU-Speicher und viel System-RAM denkbar. Rechnen Sie mit langsamer Generierung.

Ist die Lizenz wirklich MIT?

Ja. Die Gewichte werden unter der MIT-Lizenz veröffentlicht. Kommerzielle Nutzung, Modifikation und Weiterverteilung sind erlaubt.