Chinesische LLMs im Test: DeepSeek, Qwen, Kimi und GLM im Vergleich

Wer in China entwickelte Sprachmodelle einsetzt, sollte nicht allein auf Marketingversprechen vertrauen. Ein Entwickler hat dies in einem sechswöchigen Benchmark-Test mit vier führenden LLMs überprüft – und dabei enorme Unterschiede bei Kosten, Geschwindigkeit und Leistung entdeckt. Die Ergebnisse zeigen: Die günstigsten Modelle müssen nicht zwangsläufig die schlechtesten sein.

Warum eigene Tests unverzichtbar sind

Die Entscheidung für ein Sprachmodell sollte nicht von Markenversprechen abhängen, sondern von harten Leistungsdaten. In einem sechswöchigen Test hat ein Entwickler vier führende chinesische LLMs unter realen Bedingungen geprüft: DeepSeek, Qwen, Kimi und GLM. Die Grundlage bildeten 200 repräsentative Prompts aus der Produktionsnutzung des Auftraggebers, aufgeteilt in vier Kategorien:

• 40 % Programmierung
• 25 % Zusammenfassungen
• 20 % Chinesisch-sprachige Fragen und Antworten
• 15 % kreative Texte

Für jedes Modell wurden drei zentrale Metriken gemessen:

• Time-to-first-token (TTFT): Wie lange dauert es, bis die ersten Zeichen zurückgegeben werden?
• Tokens pro Sekunde: Die durchschnittliche Verarbeitungsgeschwindigkeit nach dem ersten Token.
• Kosten pro 1.000 Aufgaben: Die tatsächlichen Ausgaben für die Nutzung.

Zusätzlich bewerteten zwei unabhängige Tester die Qualität der Antworten auf einer Skala von 1 bis 5. Mit je 200 Prompts pro Modell ließ sich zwar keine absolute Rangliste erstellen, aber deutliche Trends erkennen.

Die Kosten: Ein entscheidender Faktor

Die Preise der Modelle variieren stark – und das hat direkte Auswirkungen auf die Wirtschaftlichkeit. Die folgende Tabelle zeigt die Preise für die günstigsten und Premium-Modelle der Anbieter pro Million Ausgabe-Tokens:

| Anbieter | Günstigstes Modell | Preis pro Million Ausgabe-Tokens | Premium-Modell | Preis pro Million Ausgabe-Tokens | |----------|-------------------|----------------------------------|----------------|----------------------------------| | DeepSeek | V4 Flash | 0,25 USD | R1 (Reasoner) | 2,50 USD | | Qwen | Qwen3-8B | 0,01 USD | Qwen3.5-397B | 2,34 USD | | Kimi | K2.5 | 3,00 USD | K2.5 | 3,00 USD | | GLM | GLM-4-9B | 0,01 USD | GLM-5 | 1,92 USD |

Besonders auffällig: Kimi positioniert sich mit Preisen um 3,00 USD pro Million Ausgabe-Tokens als Premium-Anbieter – etwa zwölfmal teurer als das günstigste Modell von GLM oder Qwen. Doch rechtfertigt die Leistung diesen Preisaufschlag?

DeepSeek: Schnell und günstig, aber mit Einschränkungen

DeepSeek glänzt vor allem durch zwei Eigenschaften: Geschwindigkeit und Preis. Das Modell V4 Flash kostet nur 0,25 USD pro Million Ausgabe-Tokens und erreichte in den Tests eine Qualität, die nur 0,3 Punkte unter GPT-4o lag – eine Differenz, die innerhalb der Messungenauigkeit liegt. Die durchschnittliche Verarbeitungsgeschwindigkeit betrug 58 Tokens pro Sekunde, die höchste in der Vergleichsgruppe.

Besonders überzeugt hat das Modell in der Programmierung: Mit einer HumanEval-Bestehensrate von 89 % schnitt es besser ab als alle anderen chinesischen Modelle im Test. Auch in englischsprachigen Texten lieferte es Ergebnisse auf hohem Niveau.

Allerdings gibt es auch kritische Punkte:

• Eingeschränkte Bildverarbeitung: Bei acht Test-Prompts zur Bildbeschreibung verweigerte DeepSeek in zwei Fällen die Antwort oder lieferte halluzinierte Beschreibungen – ein klarer Nachteil für multimodale Anwendungen.
• Begrenztes Modellangebot: DeepSeek bietet nur sechs verschiedene Modelle an, während Qwen mit zwölf Modellen deutlich mehr Flexibilität bietet.

Ein typischer API-Aufruf für DeepSeek V4 Flash sieht wie folgt aus:

from openai import OpenAI

client = OpenAI(
    api_key="ga_xxxxxxxxxxxx",
    base_url="
)

response = client.chat.completions.create(
    model="deepseek-v4-flash",
    messages=[
        {
            "role": "user",
            "content": "Refaktoriere diese Python-Funktion mit List Comprehension"
        }
    ],
    temperature=0.2
)

print(response.choices[0].message.content)
print(f"Verwendete Tokens: {response.usage.total_tokens}")

Der Clou: Der Anbieter Global API ermöglicht es, mit einer einzigen Client-Konfiguration auf alle getesteten Modelle zuzugreifen – ein großer Vorteil für Entwickler, die mehrere LLMs parallel testen oder nutzen möchten.

Qwen: Der Alleskönner mit Preisvarianz

Qwen von Alibaba überzeugt durch seine Flexibilität und das breite Modellangebot. Mit zwölf verschiedenen Produktionsmodellen bietet der Anbieter für fast jeden Anwendungsfall eine passende Option. Allerdings führt die große Auswahl auch zu Verwirrung: Die Modellnamen wie Qwen3-32B oder Qwen3.5-397B geben kaum Aufschluss über die tatsächlichen Fähigkeiten.

Die Preisspanne ist enorm: Während das günstigste Modell Qwen3-8B für nur 0,01 USD pro Million Ausgabe-Tokens verfügbar ist, kostet das Top-Modell Qwen3.5-397B 2,34 USD. Interessanterweise zeigte sich in den Tests, dass teurere Modelle nicht zwangsläufig bessere Ergebnisse liefern. So schnitt das Modell Qwen3-32B (0,28 USD) fast genauso gut ab wie Modelle, die viermal so teuer waren.

Highlights aus den Tests:

• Qwen3-VL-32B (0,52 USD): Das Modell bewältigte Bildbeschreibungen mit einer Erfolgsquote von 75 % – deutlich besser als DeepSeek.
• Qwen3-Omni-30B (0,52 USD): Einziges Modell im Test, das gleichzeitig Bild-, Audio- und Videoinhalte verarbeitet. Obwohl Audio nicht getestet wurde, zeigt diese Funktion die einzigartige Multimodalität von Qwen.
• Namenchaos: Die inkonsistente Namensgebung erfordert eine eigene Dokumentation, um die Modelle auseinanderzuhalten.

Ein typischer API-Aufruf für das günstige Modell Qwen3-32B:

response = client.chat.completions.create(
    model="Qwen/Qwen3-32B",
    messages=[
        {
            "role": "user",
            "content": "Fasse diese Besprechungsnotizen in drei Bullet Points zusammen"
        }
    ]
)

Dieser Aufruf wurde in den Tests für etwa 40 % aller Anfragen genutzt – ein Beweis für die Zuverlässigkeit des Modells.

Kimi und GLM: Premium vs. Budget

Kimi hebt sich durch seine Premium-Positionierung ab: Alle Modelle kosten einheitlich etwa 3,00 USD pro Million Ausgabe-Tokens. Im Test zeigte sich, dass die Leistung zwar solide, aber nicht revolutionär ist. Die Einheitspreise machen Kimi vor allem für Anwendungsfälle interessant, bei denen die absolute Spitzenleistung Priorität hat – allerdings zu einem hohen Preis.

GLM, entwickelt von Zhipu AI, überzeugt vor allem durch seine günstigen Einstiegsmodelle. Mit GLM-4-9B für 0,01 USD und GLM-5 für 1,92 USD bietet der Anbieter eine kostengünstige Alternative zu DeepSeek und Qwen. Allerdings lagen die Testergebnisse in der Qualität leicht unter denen der Konkurrenz.

Fazit: Welches Modell passt zu welchem Anwendungsfall?

Die Testergebnisse zeigen: Es gibt kein universell bestes Modell. Die Wahl hängt stark vom Anwendungsfall und Budget ab.

• Für Entwickler, die maximale Geschwindigkeit und günstige Preise benötigen: DeepSeek V4 Flash ist eine klare Empfehlung.
• Für Projekte mit Multimodal-Anforderungen: Qwen bietet die beste Flexibilität dank seiner Omni-Modelle.
• Für Anwendungen, bei denen Kosten eine untergeordnete Rolle spielen: Kimi liefert solide Ergebnisse, ist aber deutlich teurer.
• Für Budget-Projekte: GLM und Qwen3-8B bieten hervorragende Preis-Leistungs-Verhältnisse.

Wer bereit ist, Zeit in Tests zu investieren, kann durch die Kombination mehrerer Modelle die besten Ergebnisse erzielen. Die chinesische LLM-Landschaft entwickelt sich rasant – und wer genau hinschaut, findet oft versteckte Perlen jenseits der Marketingversprechen.