Stand: 12. Oktober 2026. Alle Zahlen wurden am selben Tag erhoben. Ranglisten und Modellkataloge ändern sich schnell — prüf das Datum, bevor du etwas davon übernimmst.
TL;DR
- Das erstplatzierte Modell der Rangliste braucht in genau der Konfiguration, mit der es Platz 1 holt, 748 Sekunden bis zum ersten Token. Zwölf Minuten.
- Platz 2 liefert in einer anderen Reasoning-Stufe das erste Token nach 0,87 Sekunden.
- Der Score-Abstand im Top 10 beträgt 13 Punkte. Der Latenz-Abstand beträgt Faktor 265.
- Zwei Dinge habe ich erst beim Messen gefunden — beide stehen in keiner Doku.
Eine Rangliste sortiert nach Fähigkeit. Sie sagt dir nicht, welches Modell deine Aufgabe erledigen soll. Das sind zwei verschiedene Fragen, und die Antworten weichen weiter voneinander ab, als man erwartet.
Das Problem
Wenn man ein LLM in ein Projekt einbaut, ist die bequemste Entscheidung: Rangliste öffnen, Platz 1 nehmen.
Die Rangliste beantwortet aber die Frage „welches Modell hat den höchsten Gesamtscore". Deine Frage lautet „welches Modell passt zu meiner Aufgabe". Diese beiden Fragen haben unterschiedliche Antworten — und zwar deutlich unterschiedliche.
Die Daten
Sortiert nach Artificial Analysis Intelligence Index v4.3.2. Die Index-Gewichtung: Agent 30 %, Programmierung 20 %, wissenschaftliches Reasoning 20 %, Allgemeinwissen 30 %.
| # | Modell (Konfiguration) | Index | Kosten/Task (USD) | tok/s | Time to First Token |
|---|---|---|---|---|---|
| 1 | Claude Opus 5.5 (max with fallback) | 58 | 5,98 | 96 | 748,61 s |
| 2 | Claude Sonnet 5.5 (max with fallback) | 56 | 5,46 | 137 | 484,09 s |
| 3 | Claude Fable 5.1 (max with fallback) | 53 | 7,63 | 65 | 250,30 s |
| 3 | GPT-6 Astra (max) | 53 | 3,26 | 64 | 383,62 s |
| 3 | Gemini 4 Argon (high) | 53 | 1,99 | — | — |
| 6 | GPT-6.1 Sol (max) | 52 | 0,72 | 65 | 330,58 s |
| 7 | Muse Spark 1.3 (max) | 48 | 1,60 | 121 | 48,89 s |
| 8 | Grok 4.7 (xhigh) | 46 | 3,74 | 83 | 88,14 s |
| 8 | MiMo-V2.6-Pro | 46 | 0,13 | 48 | 3,51 s |
| 10 | Qwen3.8 Max (0902) | 45 | 5,41 | 36 | 2,82 s |
| 10 | GLM-5.3 (max) | 45 | 2,01 | 66 | 3,36 s |
Gleiche Punktzahl heißt gleicher Platz, deshalb enthält „Top 10" hier elf Modelle.
Drei Beobachtungen, die mehr wert sind als die Platzierung:
1. Der Latenzunterschied ist viel größer als der Score-Unterschied. Score: 58 bis 45, also 13 Punkte. TTFT: 748,61 s bis 2,82 s, also Faktor 265. Wenn bei dir jemand vor dem Bildschirm wartet, ist die letzte Spalte wichtiger als die dritte.
2. Score und Kosten verhalten sich nicht linear. Opus 5.5 (max): 58 Punkte, 5,98 USD. GPT-6.1 Sol (max): 52 Punkte, 0,72 USD. Rund 8,3-facher Kostenfaktor für 6 Punkte mehr — gerechnet in der Metrik dieser Rangliste, nicht in deiner Rechnung.
3. Gleicher Score, völlig andere Engineering-Eigenschaften. Die drei Modelle auf Platz 3 haben alle 53 Punkte, aber Kosten von 7,63 / 3,26 / 1,99 USD und TTFT von 250 s / 384 s / nicht gemeldet.
Mein Setup
Alle Modelle habe ich über einen OpenAI-kompatiblen Endpoint angesprochen:
export API_KEY="dein_schlüssel"
curl -s -X POST https://api.crazyrouter.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "claude-haiku-5-5",
"messages": [{"role": "user", "content": "Reply with exactly: OK"}],
"max_tokens": 512
}'
Antwort nach 2,69 Sekunden, gekürzt auf das Wesentliche:
{
"model": "claude-haiku-5-5",
"choices": [{"message": {"content": "OK"}, "finish_reason": "stop"}],
"usage": {
"prompt_tokens": 42, "completion_tokens": 4, "total_tokens": 46,
"completion_tokens_details": {"reasoning_tokens": 0}
}
}
Beachte prompt_tokens: 42 — ich habe nur ein paar Wörter geschickt. Der Rest ist Protokoll-Overhead, und der fällt je nach Modell sehr unterschiedlich aus. Genau dieses Feld führt zur ersten Stolperfalle.
Welche Modell-IDs aktuell verfügbar sind und wie sie abgerechnet werden, steht auf der Modell- und Preisseite. Die IDs aus einer Rangliste zu übernehmen funktioniert oft nicht — drei der elf Modelle oben konnte ich gar nicht aufrufen, weil es sie im Katalog nicht gibt.
Die drei Felder, die du mitloggen solltest
Mehr als eine Schleife über model braucht es nicht — kein Eval-Framework, keine Bibliothek. Entscheidend ist nur, was du aus der Antwort herausziehst:
| Feld | Warum es zählt |
|---|---|
prompt_tokens |
Mit der tatsächlich gesendeten Länge vergleichen. Große Abweichung = fester Overhead |
reasoning_tokens |
Wie viel Budget in etwas fließt, das du nie zu sehen bekommst |
completion_tokens |
Entspricht es exakt deinem max_tokens, wurde abgeschnitten — der Text kann leer sein |
Beide Stolperfallen weiter unten habe ich ausschließlich über diese drei Felder gefunden. Alle 10 getesteten Modelle lieferten HTTP 200, die Laufzeiten lagen zwischen 1,80 und 7,80 Sekunden.
Ein Sonderfall: Grok
Bei zwei der drei nicht aufrufbaren Modelle fehlt schlicht der Eintrag im Katalog. Grok ist ein anderer Fall: die Rangliste führt Grok 4.7 (xhigh), verfügbar ist Grok 4.6. Das sind zwei Versionen, keine Aliase derselben — die 46 Punkte und 3,74 USD aus der Tabelle lassen sich also nicht auf 4.6 übertragen.
Genau so scheitert Modellauswahl per Rangliste am häufigsten: Name korrekt abgeschrieben, Aufruf liefert „model not found". Dreh die Reihenfolge um — erst feststellen, welche IDs du wirklich aufrufen kannst, dann deren Werte in der Rangliste nachschlagen.
Zwei Stolperfallen aus der Praxis 🪤
1. Ein Modell berechnet 4223 Input-Token für das Wort „hi"
Ich habe gpt-6.1-sol eine Anfrage mit dem Inhalt hi geschickt. Zurück kam:
"prompt_tokens": 4223
Zum Vergleich, gleiche Uhrzeit, claude-sonnet-5-5 mit einer 18-Token-Anfrage: prompt_tokens: 18. Zweimal nachgemessen, stabil zwischen 4223 und 4227.
Es gibt also einen festen Input-Overhead von rund 4200 Token pro Aufruf. Bei langen Dokumenten fällt das nicht ins Gewicht. Bei 200.000 kurzen Requests pro Tag ist dieser Overhead deine Rechnung.
Prüf das so: Schick deinen kürzesten typischen Request einmal ab und vergleiche usage.prompt_tokens mit der erwarteten Länge. Dauert zehn Sekunden.
2. max_tokens ist kein Antwortlimit, sondern ein Gesamtbudget
Bei glm-5.3 habe ich max_tokens=64 gesetzt. Ergebnis:
"completion_tokens": 64,
"completion_tokens_details": { "reasoning_tokens": 60 }
Von 64 Token gingen 60 ins Reasoning. Für die eigentliche Antwort blieben 4 — der Text kam faktisch leer zurück. Mit max_tokens=512: 34 Token Output, davon 32 Reasoning, Antwort normal. Dieselbe Anfrage an claude-sonnet-5-5: reasoning_tokens: 0.
Das Modell hat Reasoning standardmäßig an, und Reasoning-Token zählen gegen max_tokens. Wenn du den Wert nach der erwarteten Antwortlänge setzt, bekommst du leere Antworten — ohne Fehlermeldung.
Prüf das so: usage.completion_tokens_details.reasoning_tokens ausgeben. Dieses Feld zeigt dir, wie viel Budget in etwas fließt, das du nicht siehst.
Die Reasoning-Stufe ist wichtiger als der Rang
Die Rangliste zeigt immer die höchstbewertete Konfiguration. Im Betrieb ist aber die Stufe oft entscheidender als die Modellwahl:
| Modell | Stufe | Index | Kosten/Task | TTFT |
|---|---|---|---|---|
| Claude Opus 5.5 | max | 58 | 5,98 | 748,61 s |
| Claude Opus 5.5 | high | 54 | 1,82 | 44,34 s |
| Claude Opus 5.5 | medium | 51 | 1,34 | 21,61 s |
| GPT-6.1 Sol | max | 52 | 0,72 | 330,58 s |
| GPT-6.1 Sol | medium | 48 | 0,21 | 7,55 s |
Opus 5.5 von max auf high: 4 Punkte weniger, rund 70 % geringere Kosten, 94 % weniger Wartezeit.
GPT-6.1 Sol von max auf medium: 4 Punkte weniger, rund 71 % geringere Kosten, 98 % weniger Wartezeit.
Vier Punkte gegen 94 % Wartezeit ist in den meisten Produktivszenarien ein guter Tausch. Die eigentliche Lehre: behandle die Reasoning-Stufe als Parameter, den du testest — nicht als Default. Reasoning ist ein Schalter für schwere Aufgaben, keine Dauereinstellung. Stolperfalle 2 oben ist genau das: Reasoning war bei einer Aufgabe aktiv, die es nicht gebraucht hat.
Fazit: Welches Modell für welche Aufgabe
| Deine Aufgabe | Modell | Warum | Was du trotzdem prüfen musst |
|---|---|---|---|
| Architektur-Review, kritisches Refactoring, offline | claude-opus-5-5 |
Index 58, höchster Wert | Erst high testen — besteht es, spar dir max
|
| Alltägliches Coding, interaktiv, jemand wartet | claude-sonnet-5-5 |
137 tok/s; medium mit 0,87 s TTFT |
P95-Latenz messen, nicht den Mittelwert |
| Coding-Agent, Multi-Tool-Schleifen | claude-fable-5-1 |
Stärker in Agent-Benchmarks als im Gesamtindex | Im eigenen Harness testen — Scores hängen stark am Scaffold |
| Nacht-Batch, lange Reports, Output sparen | gpt-6-astra |
~27K Output-Token/Task statt ~119K | Gesamt-Output pro erledigter Aufgabe zählen |
| Hohe Fähigkeit bei kleinem Budget, offline | gpt-6.1-sol |
Einziges Modell über 50 Punkte unter 1 USD |
Erst prompt_tokens prüfen (siehe Stolperfalle 1) |
| Massen-Klassifikation, Self-Hosting nötig | mimo-v2.6-pro |
0,13 USD/Task, 3,51 s TTFT, offene Gewichte | Abnahmekriterien vorher definieren, nicht nach Rang aussortieren |
| Kurze Antworten, schnelles erstes Zeichen | qwen3.8-max |
Niedrigste TTFT (2,82 s) — aber langsamste Ausgabe | TTFT und Gesamtdauer getrennt messen |
| Ausgewogen, mit Tool-Calls | glm-5.3 |
Keine echte Schwäche in den drei Metriken |
max_tokens großzügig setzen (siehe Stolperfalle 2) |
| Ticket-Klassifikation, hoher Durchsatz | claude-haiku-5-5 |
235 tok/s, 0,21 USD/Task — nicht in den Top 10 | Mit echter Nebenläufigkeit testen |
Die letzte Zeile ist der Punkt dieses Artikels: ein Modell mit 43 Punkten schlägt das mit 58 Punkten — bei der richtigen Aufgabe.
Grenzen dieser Zahlen
- Index, Kosten, Geschwindigkeit und Latenz stammen aus einer öffentlichen Rangliste, nicht aus eigenen Benchmarks. Selbst gemessen habe ich nur Erreichbarkeit und Token-Zählung.
- Erhebung: 12. Oktober 2026. Das Erhebungsdatum ist nicht das Testdatum der einzelnen Modelle.
- Der Index ist englisch- und textlastig. Für Bild-, Sprach- oder mehrsprachige Aufgaben sagt er wenig aus.
- Drei der elf Modelle waren im Katalog nicht auffindbar — für die gebe ich keine Empfehlung ab.
- Die
discount-Werte, die ich geprüft habe, stammen aus der öffentlichen Preis-API (Übersicht hier) und sind keine Zusage für ein konkretes Konto.
Quellen: Artificial Analysis LLM Leaderboard · Benchmarking-Methodik · eigene API-Messungen vom 12.10.2026, jede Messung zweimal wiederholt.
Eine Frage an euch 💬
Mich interessiert vor allem eins: Habt ihr reasoning_tokens jemals geloggt?
Ich bin selbst erst durch eine leere Antwort darauf gestoßen. Falls ihr ähnliche stille Fehler gefunden habt — raus damit in die Kommentare. Diese Dinge stehen in keiner Doku, sie zirkulieren nur zwischen Leuten, die es getroffen hat. 🙂
Top comments (0)