Zwölf Aufgaben, fünf Läufe pro Aufgabe, drei Modelle. Ein Aufruf kostet zwischen 0,0033 und 0,0265 US-Dollar.
Ein Modell, das bei drei Testanfragen nichts kaputt macht, ist nicht bewiesen. Es ist nur noch nicht aufgefallen.
Ich habe den Aufwand deshalb umgedreht: nicht mehr Modelle ausprobieren, sondern dieselbe Aufgabe mehrfach stellen. Am Ende standen 180 Aufrufe und ein Muster, das ein einzelner Lauf verdeckt hätte.
Warum ein einzelner Lauf nichts beweist
Wer eine Aufgabe einmal stellt, sieht nur das Ergebnis, nicht die Streuung.
Ein Ausrutscher und ein Verhalten sehen in einer Stichprobe gleich aus: ein Fehler. Erst die Wiederholung trennt beide Fälle. Fällt ein Modell in fünf Läufen fünfmal an derselben Stelle um, ist das keine Pechsträhne, sondern eine Eigenschaft der Ausgabe.
Das ist der teure Unterschied. Ein Einzelfehler lässt sich mit einem Retry bezahlen. Ein systematischer Fehler erzwingt eine Änderung am Ablauf: anderes Modell, zusätzliche Prüfung oder ein manueller Schritt.
Zwölf Aufgaben, fünf Läufe, drei Modelle
Die Aufgaben sind klein und haben eindeutige Antworten: eine Rechenaufgabe, eine Wahrscheinlichkeit, eine Kurzdefinition mit Zeichenlimit, ein paar Struktur- und Codierungsfälle.
Acht davon lassen sich automatisch bewerten. Vier Codierungs- und Umschreibaufgaben brauchen ein menschliches Urteil und fließen nicht in die Quote ein.
| Modell | Automatisch bestanden | Median-Latenz | Kosten pro Aufruf |
|---|---|---|---|
| Sonnet 4.6 | 30/35 | 3,29 s | 0,0033 $ |
| Sonnet 5.5 | 39/40 | 2,81 s | 0,0047 $ |
| GPT-6.1 Sol | 35/37 | 6,19 s | 0,0265 $ |
Die Nenner sind ungleich, weil 13 der 180 Aufrufe an Netzwerkfehlern scheiterten und aus der Bewertung fielen. Wer hier glatte Vierzigstel erwartet, vergleicht nicht die Modelle, sondern die Verbindung.
Die 60-Zeichen-Aufgabe: ein Modell hält das Limit nicht ein
Die Aufgabe: MoE in höchstens 60 Zeichen erklären, ohne das Wort „Experte". Das Limit ist der Punkt, nicht die Definition.
Sonnet 4.6 lieferte 65 Zeichen, Sonnet 5.5 58, GPT-6.1 Sol 48. Der Unterschied von sieben Zeichen klingt nach Rundung, ist aber eine Entscheidung: 4.6 schreibt lieber vollständig als knapp.
Die fünf Läufe ergaben 65, 62, 68, 66 und 70 Zeichen. Kein einziger blieb unter 60.
Das ist keine Rechenungenauigkeit. Das Modell zählt nicht falsch, es priorisiert anders. Die Zusätze, die es einbaut, machen die Definition präziser und den Satz länger. Bei einer freien Erklärung wäre das ein Vorteil. In einer Pipeline, die auf Zeichenlimit prüft, ist es Ausschuss: Jede Antwort muss nachgearbeitet werden, und diese Nacharbeit kostet mehr als der Aufruf.
Wer solche Vorgaben technisch durchsetzt, also per Token-Limit oder Schema, statt sie im Prompt zu lassen, verschiebt das Problem nur. Ein hartes Abschneiden erzeugt abgeschnittene Sätze, kein besseres Ergebnis.
Ein Fehler in fünf Läufen: der teure Unterschied
Die zweite Auffälligkeit war leiser. Bei einer Wahrscheinlichkeitsaufgabe (drei Zahlen aus 1 bis 5, Summe gerade) antwortete Sonnet 5.5 in vier von fünf Läufen korrekt mit 3/5.
Im fünften Lauf stand dort (übersetzt):
Wahrscheinlichkeit 3/10.
Der Fehler ist nachvollziehbar: Das Modell hat die günstigen Fälle als „ein Ungerade plus zwei Gerade" gezählt, statt „zwei Ungerade plus eine Gerade". Der Zähler halbiert sich, das Ergebnis ist glatt falsch.
Genau hier lohnt die Fünferserie. Ein einzelner Lauf hätte dieses Modell entweder als fehlerfrei oder als unzuverlässig markiert. Beides wäre falsch. Richtig ist: 39 von 40 Bewertungen korrekt, ein Ausrutscher in einer Aufgabe mit klarer Antwort.
Praktisch heißt das: Retry reicht. Kein Modellwechsel, keine zusätzliche Prüfschicht.
Gleicher Listenpreis, fünffache Rechnung
Der dritte Punkt betrifft das Budget. Sonnet 5.5 und GPT-6.1 Sol kosten laut Liste beide 2 $ pro Million Eingabe-Token und 10 $ pro Million Ausgabe-Token. Auf dem Papier sind sie damit gleich teuer.
In der Messung kostete ein Sol-Aufruf 0,0265 $, ein 5.5-Aufruf 0,0047 $. Faktor 5,6 bei identischem Listenpreis.
Der Grund liegt im Verbrauch pro Aufgabe, nicht im Tarif. Sol rechnet länger und schreibt mehr Zwischenschritte.
Und dieser Aufpreis kaufte keine Genauigkeit. Bei der Ellipsen-Aufgabe (Tangentenpunkt, Quadrat der x-Koordinate) antwortete Sol in zwei von fünf Läufen nur mit 4/5 statt 16/5. Sonnet 4.6 und 5.5 lagen dort fünfmal richtig.
Teurer, langsamer und zwei Fehler an einer Aufgabe, die die anderen fehlerfrei lösen: Das ist kein Premium, das ist eine andere Arbeitsweise, die hier nicht passt.
Echte Arbeit: 20 Tickets, 100 Felder
Zwölf kleine Aufgaben sind kein Betrieb. Deshalb ein zweiter Durchlauf mit echter Form: 20 Support-Tickets, aus denen je fünf Felder zu extrahieren waren, also 100 Zellen.
Alle drei Modelle trafen alle 100 Zellen. Die Genauigkeit differenzierte nicht.
Die Laufzeit schon: Sonnet 5.5 brauchte 7,5 Sekunden, GPT-6.1 Sol 29,3, Sonnet 4.6 37,9.
Eine halbe Minute pro Lauf klingt nach nichts. Bei 10.000 Läufen am Tag sind es über 84 Stunden Unterschied, also mehr als drei Tage Rechenzeit, die jemand bezahlt oder abwartet.
Wer wechseln sollte
Für Aufgaben mit hartem Zeichen- oder Formatlimit ist Sonnet 5.5 die klarste Wahl: kein einziger Verstoß gegen das Limit, die kürzeste Median-Latenz und der günstigste Aufruf der drei.
Für einmalige Texte, die ohnehin redigiert werden, bleibt Sonnet 4.6 vernünftig. Die längere, vollständigere Ausgabe ist dort kein Fehler, sondern Material.
GPT-6.1 Sol ist kein günstiger Ersatz. Gleicher Listenpreis, 5,6-facher Aufwand pro Aufgabe und zwei Fehler an einer einfachen Rechenaufgabe. Wer es einsetzt, sollte einen Grund haben, der nicht „billiger" heißt.
Die Preise stammen aus der Modellübersicht des Gateways, das ich für die Aufrufe genutzt habe (Modellpreise, Stand 28.10.2026); abgerechnet wird nach tatsächlichem Verbrauch.
Was hier nicht getestet wurde
Getestet wurde ausschließlich Single-Turn-Text mit kurzen Eingaben.
Lange Kontexte, mehrstufige Dialoge, Tool-Aufrufe und Bilder waren nicht Teil der Messung. Über diese Fähigkeiten sagt die Tabelle nichts, auch wenn die Kontextfenster der drei Modelle unterschiedlich groß sind (200K, 1M und 922K Token).
Vier Aufgaben wurden nur menschlich beurteilt und fehlen in der Quote. 13 Aufrufe fielen durch Netzwerkfehler aus. Wer die Zahlen für eine Kaufentscheidung nutzt, sollte sie als Muster lesen, nicht als Rangliste.
Top comments (0)