Kimi K3 Benchmarks: Moonshot-Zahlen vs. unabhängige Tests

Wenn ein neues Modell auf den Markt kommt, tauchen sofort zwei Arten von Zahlen auf, die selten übereinstimmen: die eigenen Zahlen des Labors und die Ergebnisse unabhängiger Tester. Kimi K3, das Moonshot AI am 16. Juli 2026 ausgeliefert hat, ist eine gute Fallstudie, wie man beides liest, ohne sich täuschen zu lassen. Auf unabhängiger Seite wirkt es intelligent, aber nicht schnell; auf Anbieterseite bezeichnet Moonshot es als „Frontier-Level“, räumt aber im selben Beitrag ein, dass es immer noch hinter den führenden proprietären Systemen zurückbleibt. Dieser Artikel entwirrt diese Fäden, damit Sie sehen können, was bewiesen ist, was behauptet wird und was noch niemand veröffentlicht hat.

Apidog noch heute ausprobieren

TL;DR: Wie Kimi K3 tatsächlich abschneidet

Im unabhängigen Artificial Analysis Intelligence Index erreicht Kimi K3 einen Wert von 57 und belegt Platz 4 von 189 Modellen, ein echtes Frontier-Unternehmen. Die gemessene Ausgabegeschwindigkeit beträgt jedoch etwa 62 Tokens pro Sekunde, was unter dem Median von 72,7 für seine Preisklasse liegt. Es ist also ein starker Denker, der eher langsam arbeitet.

Moonshots Startpostulat beansprucht „Leistung auf Frontier-Niveau über unsere gesamte Evaluierungssuite hinweg“ und erklärt dann unverblümt, dass K3 „immer noch hinter den leistungsstärksten proprietären Modellen, Claude Fable 5 und GPT-5.6 Sol, zurückbleibt.“ Moonshots veröffentlichte Benchmark-Tabelle ist stark: K3 führt bei BrowseComp, Automation Bench und SpreadsheetBench 2, belegt den zweiten Platz bei Terminal-Bench 2.1 und den dritten Platz bei DeepSWE.

Diese Zahlen stammen vom Anbieter und wurden nicht unabhängig reproduziert. Behandeln Sie sie daher als Richtungsangabe. Was noch fehlt, sind eine neutrale Wiederholung der Coding-Suites und ein klassischer SWE-bench-Verified-Score.

💡 Wichtig: Der Benchmark, der zählt, ist der, den Sie auf Ihrer eigenen Arbeitslast ausführen. Richten Sie einen OpenAI-kompatiblen Client wie Apidog auf den Endpunkt kimi-k3 und messen Sie Latenz, Kosten und Ausgabequalität bei Ihren tatsächlichen Prompts. Diese Zahl schlägt jede Rangliste bei der Entscheidung, ob K3 in Ihren Stack gehört.

Die drei Behauptungen, getrennt betrachtet

Modellstarts können verwirrend wirken, da drei verschiedene Arten von Aussagen in einer Überschrift vermischt werden. Trennt man sie, wird das Bild klarer. Für das vollständige Datenblatt behandelt der Was ist Kimi K3-Pfeiler Architektur und Preise; hier konzentrieren wir uns auf die Zahlen.

Behauptung 1: Der unabhängige Anker (Artificial Analysis)

Artificial Analysis ist ein Drittanbieter: Er kauft API-Zugang, führt eine feste Evaluierungssuite aus und veröffentlicht Ergebnisse ohne Laboreingabe. Deshalb haben seine Zahlen hier das größte Gewicht.

Für Kimi K3 sind die Ankerpunkte:

• Intelligenz-Index: 57. Eine Zusammenfassung von Denk-, Wissens- und Codierungsbewertungen, die in einer einzigen Zahl zusammengefasst sind.
• Rang: #4 von 189 Modellen. Zum Zeitpunkt des Schreibens erzielen nur drei Modelle eine höhere allgemeine Intelligenz.
• Ausgabegeschwindigkeit: etwa 62 Tokens pro Sekunde. Der Median der Preisklasse liegt bei 72,7, K3 generiert also langsamer als vergleichbare Modelle seiner Kostenstufe.
• Zeit bis zum ersten Token: ungefähr 2 Sekunden. Eine kurze, aber tatsächliche Wartezeit, bevor die Generierung beginnt.

Zusammen erzählen diese Zahlen eine spezifische Geschichte: K3 ist intelligent, aber nicht schnell. Es erreicht einen Top-Vier-Rang, büßt aber etwas bei der Durchsatzrate ein.

Für einen nächtlichen Batch-Job spielt das kaum eine Rolle. Für einen interaktiven Codierungsassistenten, bei dem ein Entwickler auf jede Vervollständigung wartet, sind 62 Tokens pro Sekunde eine echte Belastung. Gleiches Modell, entgegengesetzte Urteile, je nachdem, was Sie aufbauen.

Behauptung 2: Was Moonshot über sich selbst sagt

Moonshots Startpost ist ein Verkäuferdokument, das zum Verkauf geschrieben wurde. Es beschreibt K3 als Modell, das „Leistung auf Frontier-Niveau über unsere gesamte Evaluierungssuite hinweg zeigt und andere getestete Modelle durchweg übertrifft.“

Beachten Sie „unsere Evaluierungssuite“. Die Wahl Ihrer eigenen Benchmark-Mischung ist kein Betrug, aber es ist ein Heimvorteil: Jeder Anbieter wählt die Evaluierungen, bei denen er stark aussieht. Die Behauptung ist daher richtungsweisend, nicht entscheidend.

Eine sekundäre Behauptung aus der Startberichterstattung besagt, dass K3 „den ersten Platz in 4 von 8 realen Automatisierungs-Benchmarks belegte, darunter Automation Bench, SpreadsheetBench 2 und BrowseComp“, während es bei den meisten anderen Benchmarks den zweiten Platz hinter Claude Fable 5 einnahm.

Das ist eine anbieternahe Zahl aus zweiter Hand, die kein unabhängiger Tester reproduziert hat. Legen Sie sie unter „interessant, unbestätigt“ ab, bis eine neutrale Partei diese Benchmarks durchführt und ihre Methodik veröffentlicht.

Behauptung 3: Die von Moonshot zugegebene Obergrenze

Der nützlichste Satz im Startpost untergräbt den Hype. Moonshot schreibt, dass die „Gesamtleistung von K3 immer noch hinter den leistungsstärksten proprietären Modellen, Claude Fable 5 und GPT-5.6 Sol, zurückbleibt.“

Ein Anbieter, der seine eigene Obergrenze freiwillig nennt, ist selten und vertrauenswürdig.

Das ist wichtig für die Erwartungen. Für Ihre schwierigsten Aufgaben sagt Moonshot selbst, dass die proprietären Optionen bei der Rohleistung weiterhin führen. Der K3-Pitch war nie „wir schlagen alle“, sondern: „Frontier-nahe Qualität in einem offenen Modell zu einem Bruchteil der Kosten.“

Für direkte Vergleiche gehen die Aufschlüsselungen Kimi K3 vs. GPT-5.6 Sol und Kimi K3 vs. Claude Opus 4.8 tiefer.

Unabhängige vs. Anbieterzahlen, nebeneinander

Hier ist die gesamte Benchmark-Geschichte auf einen Blick, sortiert danach, wer welche Behauptung aufstellt.

Behauptung	Wer sagt es	Was es misst	Wie sehr man ihr vertrauen kann
Intelligenz-Index 57, Rang #4 von 189	Artificial Analysis (unabhängig)	Zusammengesetzte allgemeine Intelligenz	Hoch. Dritter, feste Suite, keine Laboreingabe.
Ausgabe ~62 Tokens/Sek. (Tier-Median 72,7)	Artificial Analysis (unabhängig)	Generierungsdurchsatz	Hoch. Gemessen, reproduzierbar.
Zeit bis zum ersten Token ~2 Sekunden	Artificial Analysis (unabhängig)	Reaktionsfähigkeit	Hoch. Gemessen.
„Leistung auf Frontier-Niveau über unsere Evaluierungssuite hinweg“	Moonshot (Anbieter)	Selbstgewählte Benchmark-Mischung	Richtungsweisend. Heimvorteil gilt.
Gewinnt bei BrowseComp, Automation Bench, SpreadsheetBench 2; 2. Platz bei Terminal-Bench 2.1; 3. Platz bei DeepSWE	Moonshot (Anbieter, veröffentlichte Tabelle)	Aufgabenspezifische Agentenleistung	Mittel. Echte veröffentlichte Zahlen, aber vom Anbieter durchgeführt und nicht unabhängig reproduziert.
Liegt insgesamt hinter Claude Fable 5 und GPT-5.6 Sol	Moonshot (Anbieter, selbst zugegeben)	Obergrenze im Vergleich zu proprietären Marktführern	Hoch. Anbieter gibt eigene Grenze zu.
Unabhängig reproduzierte Coding-Scores + klassischer SWE-bench Verified	Noch niemand	Codierungsspezifische Fähigkeit	Nicht veröffentlicht. Moonshots eigene Zahlen existieren; neutrale Wiederholungen nicht.

Das Muster ist leicht zu übersehen: Die Zahlen, denen Sie am meisten vertrauen können, beschreiben allgemeine Intelligenz und Geschwindigkeit. Die aufgabenspezifischen Zahlen sind zwar real, wurden aber vom Anbieter erhoben. Genau in dieser Lücke zahlen sich eigene Tests aus.

Hier ist Moonshots veröffentlichte Starttabelle bei maximaler Reasoning-Einstellung. So sehen Sie die Form der Behauptung statt nur einer Paraphrase.

Benchmark	Kimi K3	Claude Fable 5	GPT-5.6 Sol	Claude Opus 4.8
Terminal-Bench 2.1	88.3	84.6	88.8	84.6
DeepSWE	67.5	70.0	73.0	59.0
BrowseComp	91.2	88.0	90.4	84.3
Automation Bench	30.8	29.1	29.7	27.2
SpreadsheetBench 2	34.8	34.7	32.4	31.6

Zwei Dinge stechen hervor:

1. K3 schlägt sowohl Claude Fable 5 als auch Claude Opus 4.8 bei vier dieser fünf Benchmarks.
2. Bei DeepSWE, der hier schwierigsten Metrik für agentenbasiertes Codieren, landet K3 klar auf dem dritten Platz hinter Sol und Fable 5.

Diese Zeile erklärt, warum Moonshots Aussage „liegt insgesamt immer noch hinter den beiden proprietären Marktführern zurück“ glaubwürdig erscheint: K3 gewinnt in der Breite und verliert den schwierigsten Codierungswettbewerb.

Was noch fehlt

Eine Benchmark-Analyse ist nur so ehrlich wie ihre Liste der Unbekannten. Das hat Kimi K3 noch nicht öffentlich:

• Unabhängige Coding-Scores. Moonshot hat eigene Terminal-Bench-2.1- und DeepSWE-Zahlen veröffentlicht, aber Artificial Analysis integriert das Codieren in den zusammengesetzten Index und veröffentlicht keine eigenständige SWE-bench-Verified-Zahl für K3. Jeder präzise SWE-bench-Prozentsatz, den Sie heute für K3 sehen, zitiert Moonshots eigene Läufe oder ist eine Schätzung. Warten Sie auf eine neutrale Zahl.
• Reproduzierte Automatisierungsergebnisse. Ein Drittanbieter muss Moonshots Gewinne bei Automation Bench, SpreadsheetBench 2 und BrowseComp noch mit veröffentlichter Methodologie wiederholen. Agenten-Benchmarks reagieren empfindlich auf Scaffolding, Prompt-Format und Wiederholungslogik. Anbieter- und unabhängige Zahlen können daher stark voneinander abweichen.
• Langkontext-Qualität bei 1 Million Tokens. K3 liefert ein 1-Millionen-Token-Fenster, aber ein großes Fenster und eine zuverlässige Wiedergabe darüber sind unterschiedliche Dinge. Veröffentlichte Langdokument-Scores im vollständigen Kontext sind noch nicht weit verbreitet. Wenn Ihr Anwendungsfall auf das volle Fenster angewiesen ist, testen Sie es selbst.

Moonshot hat sich außerdem verpflichtet, kurz nach dem Start vollständige offene Gewichte zu veröffentlichen. Das sollte Community-Benchmarks ermöglichen, die die Geschichte des Starttages bestätigen oder verkomplizieren.

Das Fehlen einer Zahl ist keine schlechte Zahl. Sie wurde einfach noch nicht veröffentlicht.

Wie man Anbieter-Benchmarks liest, ohne sich täuschen zu lassen

Sie müssen nicht jeder Anbieter-Tabelle misstrauen. Verwenden Sie aber diese Checkliste:

1. Wer hat den Test durchgeführt?
   
   Unabhängig ist besser als selbst gemeldet. Wenn das Labor ihn durchgeführt hat, gehen Sie davon aus, dass die Mischung zu seinen Gunsten ausfällt.

2. Ist die genaue Evaluierung benannt und versioniert?
   
   „SWE-bench Verified“ ist überprüfbar; „unsere interne Codierungssuite“ ist es nicht. Benannte Benchmarks ermöglichen Dritten, das Ergebnis zu reproduzieren.

3. Was wurde weggelassen?
   
   Eine Tabelle mit drei Siegen ist keine Tabelle aller acht Ergebnisse. Die fehlenden Metriken sind oft die Bereiche, in denen das Modell schlechter abschneidet.

4. Gibt der Anbieter eine Obergrenze zu?
   
   Ein Labor, das die Modelle benennt, denen es hinterherhinkt, wie Moonshot es mit Fable 5 und Sol tut, ist glaubwürdiger als eines, das vollständigen Erfolg behauptet.

5. Passt es zum unabhängigen Anker?
   
   Wenn eine Anbieterbehauptung und eine neutrale Quelle nicht übereinstimmen, glauben Sie der neutralen Quelle.

Leitet man den Start von K3 durch diesen Filter, hält er besser stand als die meisten anderen. Der unabhängige Index bestätigt echte Stärke, der Anbieter nennt freiwillig seine Grenzen, und die Schwachstelle ist die unbestätigte Automatisierungsbehauptung.

Für ein längeres Beispiel verwendet die Aufschlüsselung der GLM-5.2-Benchmarks denselben unabhängigen Ansatz. Der Vergleich GPT-5.6 vs. Claude Fable 5 zeigt, wie zwei Frontier-Modelle in verschiedenen Suiten Siege austauschen.

Der wahre Test: Benchmarking von K3 für Ihre Aufgabe

Öffentliche Ranglisten beantworten eine allgemeine Frage: Wie intelligent ist dieses Modell im Durchschnitt?

Ihre Aufgabe ist spezifisch: Wie gut erledigt es die eine Sache, die Sie benötigen?

Ein Modell, das insgesamt auf Platz 4 rangiert, könnte für Ihre genaue Prompt-Form an erster Stelle stehen oder einem günstigeren Modell hinterherhinken, das auf Ihren Bereich abgestimmt ist. Der einzige Weg, dies herauszufinden, ist zu messen.

Schritt 1: Golden Set erstellen

Sammeln Sie 20 bis 50 echte Prompts aus Ihrer Arbeitslast, möglichst mit bekannten guten Ausgaben:

• echte Tickets
• echte Code-Diffs
• echte Support-Anfragen
• reale Extraktions- oder Klassifizierungsaufgaben

Synthetische Prompts lügen; Produktions-Prompts nicht.

Schritt 2: Variablen fixieren

Legen Sie für jeden Lauf fest:

• Modell-ID: kimi-k3
• Temperatur
• System-Prompt
• maximale Token-Anzahl
• verwendete Tools oder Agenten-Scaffolding
• Region und API-Endpunkt, sofern relevant

Ändern Sie immer nur eine Variable. Sonst können Sie Unterschiede nicht eindeutig zuordnen.

Schritt 3: Vier Werte pro Prompt messen

Messen Sie mindestens:

1. Ausgabequalität: Hat das Modell die Aufgabe korrekt gelöst?
2. Latenz: Zeit bis zum ersten Token und gesamte Generierungszeit.
3. Kosten: Eingabe- plus Ausgabe-Tokens multipliziert mit dem Preis.
4. Konsistenz: Wie stark unterscheiden sich mehrere Läufe mit denselben Parametern?

Die Zahl von 62 Tokens pro Sekunde ist nur eine Ausgangsschätzung. Ihre tatsächliche Latenz hängt unter anderem von Prompt-Länge und Region ab.

Schritt 4: Gegen das aktuelle Modell vergleichen

Führen Sie dasselbe Golden Set gegen das Modell aus, das Sie heute verwenden. Ein Wechsel lohnt sich nur, wenn K3 in dem Bereich gewinnt, der für Ihr Produkt zählt.

Ein minimaler Lauf könnte beispielsweise so aussehen:

curl https://api.example.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "kimi-k3",
    "temperature": 0,
    "max_tokens": 1200,
    "messages": [
      {
        "role": "system",
        "content": "Du bist ein präziser Coding-Assistent."
      },
      {
        "role": "user",
        "content": "Analysiere diesen Fehler und schlage einen minimalen Patch vor: ..."
      }
    ]
  }'

Speichern Sie pro Ausführung mindestens Modell, Prompt-ID, Parameter, Eingabe-Tokens, Ausgabe-Tokens, TTFT, Gesamtdauer, Kosten und Qualitätsurteil.

{
  "prompt_id": "bugfix-017",
  "model": "kimi-k3",
  "temperature": 0,
  "input_tokens": 1820,
  "output_tokens": 643,
  "time_to_first_token_ms": 2010,
  "total_duration_ms": 12680,
  "quality_score": 4,
  "passed": true
}

Hier zahlt sich ein API-Client aus. Apidog behandelt den kimi-k3-Endpunkt als erstklassige Anfrage: Speichern Sie Ihre Golden-Set-Prompts als wiederverwendbare Sammlung, senden Sie sie mit festgelegten Parametern, streamen Sie die Antwort, um die Token-für-Token-Latenz zu beobachten, und lesen Sie genaue Token-Zahlen für die Kostenberechnung zurück.

Führen Sie anschließend das gesamte Set gegen ein anderes Modell aus, indem Sie nur den Endpunkt oder die Modell-ID austauschen. Wenn Ihre Arbeit in einem Editor stattfindet, steuern Sie dieselben Anfragen innerhalb von VS Code. Wenn Sie bereit sind, laden Sie Apidog herunter und richten Sie eine neue Anfrage an den Moonshot-Endpunkt.

Aufgabenformen und worauf Sie achten sollten

• Codierungsassistent:
  
  Latenz dominiert. Bei 62 Tokens pro Sekunde hat eine lange Vervollständigung eine spürbare Zeichenzeit. Testen Sie daher mit Ihrer tatsächlichen durchschnittlichen Vervollständigungslänge. Vergleichen Sie auch mit schnelleren Modellen, selbst wenn diese in der Gesamtrangliste niedriger stehen.

• Batch-Datenextraktion:
  
  Niemand wartet auf die Ausgabe, daher spielt der Durchsatz kaum eine Rolle. K3s Intelligenzrang ist hier wichtiger. Wägen Sie Qualität gegen Kosten pro Token ab.

• Langdokumentenanalyse:
  
  Testen Sie mit der Kontextlänge, die Sie tatsächlich verwenden. Ein Modell, das bei 32K zuverlässig ist, kann bei 500K nachlassen. Das 1-Million-Token-Fenster ist eine Obergrenze, keine Garantie.

• Agentengesteuerte Automatisierung:
  
  Hier liegt die unbestätigte „4 von 8“-Behauptung. Vertrauen Sie daher Ihren eigenen Läufen mehr als dem Marketing. Erstellen Sie ein kleines Agenten-Harness, führen Sie Ihre echte Aufgabenschleife aus und zählen Sie die Erfolge.

Sie können K3 auch über einen Aggregator nutzen, wenn Sie keinen direkten Schlüssel verwalten möchten: Der OpenRouter-Eintrag für moonshotai/kimi-k3 stellt dasselbe Modell über eine OpenAI-kompatible Route bereit.

Wo K3 ehrlich landet

Beseitigt man den Startlärm, ist Kimi K3 ein wirklich starkes allgemeines Modell mit einer klaren, selbst zugegebenen Obergrenze.

Die unabhängige Lesart ist vertrauenswürdig und schmeichelhaft: ein Top-Vier-Rang von 189, erreicht auf einer Suite, die Moonshot nicht entworfen hat. Die Geschwindigkeit ist die ehrliche Schwachstelle. Sie ist für interaktive Arbeit sehr wichtig und für Batch-Arbeit fast irrelevant.

Die Anbieteransprüche teilen sich sauber auf:

• Das Zugeständnis, dass K3 Fable 5 und Sol hinterherhinkt, ist glaubwürdig.
• Die unbestätigten Automatisierungsgewinne sollten Sie locker betrachten, bis jemand Unabhängiges sie reproduziert.

Ein Start ist der Anfang des Beweises, nicht das Ende. Messen Sie das Modell an Ihrer eigenen Arbeit und lassen Sie diese Zahl entscheiden.

Um Leistung gegen Kosten abzuwägen, koppelt die Aufschlüsselung der Kimi-K3-Preise den Preis mit diesen Benchmark-Zahlen.

Häufig gestellte Fragen

Was ist Kimi K3s Benchmark-Score?

Im unabhängigen Artificial Analysis Intelligence Index erreicht Kimi K3 einen Wert von 57 und belegt Platz 4 von 189 Modellen. Moonshot hat eigene Terminal-Bench-2.1- und DeepSWE-Scores veröffentlicht, aber kein unabhängiges Labor hat K3s eigenständige Coding-Benchmarks bisher reproduziert. Der Index ist daher die beste neutrale Zahl, die verfügbar ist.

Ist Kimi K3 schneller als andere Modelle?

Nein. Die gemessene Ausgabegeschwindigkeit beträgt etwa 62 Tokens pro Sekunde, was unter dem Median von 72,7 für seine Preisklasse liegt. Die Zeit bis zum ersten Token beträgt ungefähr 2 Sekunden. K3 ist ein starker Denker, der eher langsam generiert, und eignet sich besser für Batch- und Analysearbeiten als für latenzempfindliche interaktive Tools.

Schlägt Kimi K3 Claude Fable 5 oder GPT-5.6 Sol?

Insgesamt nicht, nach Moonshots eigener Aussage. Der Startpost besagt, dass K3 „immer noch hinter den leistungsstärksten proprietären Modellen, Claude Fable 5 und GPT-5.6 Sol, zurückbleibt.“ Eine sekundäre Behauptung besagt, dass K3 bei einigen Automatisierungs-Benchmarks führt, aber das ist anbieterbezogen und nicht unabhängig bestätigt. Für Frontier-Aufgaben sind die beiden proprietären Modelle weiterhin voraus.

Wie sollte ich Kimi K3 für meinen eigenen Anwendungsfall benchmarken?

Erstellen Sie ein Golden Set von 20 bis 50 echten Prompts aus Ihrer Arbeitslast. Fixieren Sie Modell-ID und Parameter. Messen Sie anschließend Ausgabequalität, Latenz, Kosten und Konsistenz im Vergleich zu Ihrem aktuellen Modell. Tools wie Apidog ermöglichen es Ihnen, diese Prompts als wiederverwendbare Sammlung zu speichern und sie gegen kimi-k3 sowie jeden Konkurrenten für einen fairen Vergleich erneut auszuführen.