DEV Community

Cover image for Kimi K3 vs. Claude Fable 5: Ein API-Test zu Prüfbarkeit, Code-Abbruch und Latenz
Jenny Met
Jenny Met

Posted on • Originally published at crazyrouter.com

Kimi K3 vs. Claude Fable 5: Ein API-Test zu Prüfbarkeit, Code-Abbruch und Latenz

#ai #api #llm #benchmark

Kimi K3 vs. Claude Fable 5: Ein API-Test zu Prüfbarkeit, Code-Abbruch und Latenz

Kimi K3 vs. Claude Fable 5

Ein belastbarer Modelltest muss mehr prüfen als die letzte Antwortzeile. Deshalb wurden Zwischenwerte zurück in Gleichungen eingesetzt, generierter Code ausgeführt und abgeschnittene Antworten separat bewertet.

Versuchsaufbau 

Test date: 2026-07-17
Base URL: https://cn.crazyrouter.com/v1
Endpoint: POST /v1/chat/completions
Models: kimi-k3, claude-fable-5
temperature: 0.2
Round 1 max_tokens: 4000
Coding retry max_tokens: 7000
Enter fullscreen mode Exit fullscreen mode

Beide Modelle erhielten identische Prompts und Abnahmekriterien. HTTP 200 allein galt nicht als Erfolg: Endwerte, Zwischenzustände, finish_reason, ausführbares Python und dieselben Assertions wurden geprüft.

Das technische Spannungsfeld

Fable 5 antwortete im Mittel nach 37,1 Sekunden, Kimi K3 nach 108,0 Sekunden. Kimi K3 lieferte jedoch die konsistentere mathematische Verifikation.

Messwerte im Überblick

Aufgabe Kimi K3 Claude Fable 5
HHTH-Wahrscheinlichkeit Bestanden Endwert korrekt; Zwischenrechnung fehlerhaft
Kollision und Feder Bestanden Bestanden
Python-Aggregation Bei 4k gekürzt; bei 7k bestanden Bei 4k gekürzt; bei 7k bestanden
Dienstplanlogik Bestanden Bestanden 
Mittlere Latenz — Kimi K3: 108.0 s
Mittlere Latenz — Claude Fable 5: 37.1 s
Enter fullscreen mode Exit fullscreen mode

Mathematik: Konsistenz der Zwischenwerte

Die Aufgabe zur verzerrten Münze fragte nach der erwarteten Zahl der Würfe bis zum ersten HHTH bei P(H)=3/5 und erlaubter Überlappung. Das korrekte Ergebnis lautet:

E[T] = 715/54 ≈ 13.2407407407
E1 = 625/54
E2 = 475/54
E3 = 170/27
Enter fullscreen mode Exit fullscreen mode

Kimi K3 prüfte den Zustandsautomaten mit zwei unabhängigen Methoden. Fable 5 fand das richtige Endergebnis, meldete aber zwei Zwischenwerte, die nicht zu den eigenen Gleichungen passten.

Physik: korrekte Trennung der Energiephasen

Die Physikaufgabe kombinierte einen vollständig unelastischen Stoß mit Reibung und Federkompression. Beide Modelle erhielten:

Post-collision speed: 2.4 m/s
Energy lost in collision: 21.6 J
Maximum compression: about 0.2212 m
Enter fullscreen mode Exit fullscreen mode

Beide Modelle berechneten etwa 0,2212 m Federkompression und denselben eindeutigen Dienstplan.

Code: ein Output-Limit ist ein Qualitätsparameter

Die Python-Funktion musste Retries nach request_id zusammenführen, ISO-8601-Zeitstempel verarbeiten, das Halbintervall [start,end) filtern, Token und Latenz aggregieren und mehrstufig sortieren.

Round 1, max_tokens=4000:
Kimi K3 finish_reason=length
Fable 5 finish_reason=length

Retry, max_tokens=7000:
Kimi K3: 145.2 s, 5199 completion tokens, 8/8 assertions
Fable 5: 46.6 s, 3710 completion tokens, 8/8 assertions
Enter fullscreen mode Exit fullscreen mode

Bei 4.000 Tokens wurden beide Antworten mit length beendet. Mit 7.000 Tokens bestanden beide Python-Programme dieselben acht Assertions.

Reasoning-Tokens und sichtbare Ausgabe 

Kimi K3 completion tokens: 13,975
Kimi K3 reasoning tokens: about 12,500
Fable 5 completion tokens: 10,187
Enter fullscreen mode Exit fullscreen mode

Kimi K3 meldete rund 12.500 Reasoning-Tokens. Das verbessert in diesem Beispiel die Kontrolle, erhöht aber Latenz und Kürzungsrisiko bei langem Code.

Empfohlene Aufgabenverteilung

  • Fable 5 für häufige, automatisiert testbare Aufgaben
  • Kimi K3 für exakte Herleitungen und Zwischenwert-Audits
  • Langen Code nur mit finish_reason- und Laufzeittest akzeptieren

Constraint-Reasoning: identische eindeutige Lösung

Beide Modelle fanden denselben eindeutig bestimmten Wochenplan:

Montag Dienstag Mittwoch Donnerstag Freitag
Eli Bo Ada Cici Deng

Beide Modelle berechneten etwa 0,2212 m Federkompression und denselben eindeutigen Dienstplan.

Grenzen des Tests

Dies ist ein kleiner Test und keine allgemeine Rangliste. Für den Betrieb sollten alle Kategorien 20–50 Mal wiederholt und Erfolgsrate, Abbruchrate, Time-to-first-token, P50/P95/P99-Latenz, completion tokens und Kosten pro akzeptiertem Ergebnis erfasst werden.

Fazit

Fable 5 war der schnelle Ausführungspfad; Kimi K3 war in diesem kleinen Test der sorgfältigere mathematische Prüfpfad.

from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://cn.crazyrouter.com/v1")
response = client.chat.completions.create(
    model="kimi-k3",
    temperature=0.2,
    max_tokens=4000,
    messages=[{"role": "user", "content": "YOUR_TEST_PROMPT"}],
)
print(response.model, response.choices[0].finish_reason, response.usage)
Enter fullscreen mode Exit fullscreen mode

Vollständiger Artikel: https://crazyrouter.com/de/blog/kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026-de

API: https://crazyrouter.com/register?utm_source=crazyrouter_blog&utm_medium=article&utm_campaign=kimi_k3_fable5_multilingual_20260718&utm_content=kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026-de__body_cta&utm_term=kimi-k3+claude-fable-5+benchmark

Top comments (0)