Ein Lauf, neun Verhaltenstests und eine geschätzte Modellrechnung von 0,064 US-Dollar.
Das Terminal zeigte 9 passed. inventory_service.py hatte sich geändert. Der Codex-Lauf dauerte 3 Minuten 59 Sekunden. Auf die aufgezeichneten Token entfielen nach den öffentlichen Listenpreisen ungefähr 0,064 US-Dollar.
DSH zeigte mit demselben Modell deepseek-v4.1-flash ebenfalls 9 passed. Die angeforderte Quelldatei war danach unverändert.
Genau diese Gegenprobe macht den Lauf interessant. Ein grüner Test und eine abgeschlossene Übergabe sind zwei verschiedene Aussagen. DeepSeek machte die Wiederholungen bezahlbar. Codex machte aus den Modellantworten echte Dateiänderungen und Befehlsausgaben. Den Abschluss bewies erst eine Prüfung außerhalb der Agentenzusammenfassung.
Der Test war grün. Das Ergebnis war es nicht.
Die Aufgabe war klein genug, um sie in einem Lauf zu prüfen, und unangenehm genug, um oberflächliche Änderungen zu erkennen. Der Seed-Service musste Lagerbestände atomar reservieren. Doppelte SKUs sollten vor der Mengenprüfung zusammengeführt werden. Ungültige Mengen brauchten eine einheitliche Antwort. snapshot() durfte keinen veränderbaren Blick auf den internen Zustand liefern. Zwei gleichzeitige Käufer sollten nicht dieselbe letzte Einheit bekommen.
Die versteckten Tests deckten auch fünfzig Threads auf sieben Einheiten und vierzig Käufe auf zwei begrenzte Produkte ab. Eine plausibel aussehende Funktion allein reichte nicht.
Codex startete die Suite, las den Fehler und verfolgte die Implementierung durch die Lagermethoden. Danach änderte es Validierung und Sperren und ließ die Tests erneut laufen. Die angeforderte Datei endete mit diesem SHA-256:
008AF21A36C45CDBB9513961DBF52E2E663791EF5CA5A31FB018871F1F4EF66D
Der Seed hatte einen anderen Hash:
5F8FA06F3A9B9ED7022CE2EEC9158D0139DEC6716872FAC8F9D0E86DDC7C88F8
Der Hash beweist nicht, dass die Sperrlogik fachlich richtig ist. Neun Verhaltenstests sind ebenfalls kein Ersatz für Code Review. Beide Werte beantworten eine engere, oft übersprungene Frage: Hat der Lauf die Datei verändert, die in der Aufgabe genannt wurde?
Wie derselbe grüne Test die falsche Datei messen kann
Im DSH-Lauf entstand ein Python-Paket mit demselben Modulnamen. Python fand dieses Paket vor der Seed-Datei, importierte die neue Implementierung und führte die Tests dagegen aus. Das Verhalten war tatsächlich korrekt. Nur lag es nicht in inventory_service.py; die angeforderte Datei behielt ihren Anfangsstand.
Mit neun Punkten für das Verhalten und einem Punkt für das richtige Artefakt ergab sich für Codex 10/10. DSH blieb bei 9/10.
Das ist nicht nur ein Modellfehler. Es ist eine Lücke in der Abnahme. Die Aufgabe beschrieb sowohl gewünschtes Verhalten als auch die Zieldatei. Die Prüfung endete jedoch beim Wort passed. Ein Ergebnis kann technisch wahr sein und trotzdem nicht das verlangte Arbeitsprodukt enthalten.
Die Reparatur dafür ist keine längere Prompt-Anweisung. Sie ist eine deterministische Kontrolle, nachdem der Agent den Prozess beendet hat. Woher kam das importierte Modul? Welche Pfade wurden geändert? Hat die genannte Datei einen neuen Hash?
Verbindung und Arbeitsbereich getrennt prüfen
Die Provider-Konfiguration ist kurz:
model = "deepseek-v4.1-flash"
model_provider = "crazyrouter"
[model_providers.crazyrouter]
name = "Crazyrouter"
base_url = "https://api.crazyrouter.com/v1"
env_key = "CRAZYROUTER_API_KEY"
wire_api = "responses"
requires_openai_auth = false
Fehler treten an unterschiedlichen Stellen auf. Ohne die Umgebungsvariable wird die Anfrage vor dem Modelllauf abgelehnt. Eine falsche Modell-ID oder Basis-URL erreicht die gewünschte Route nicht. Wenn beides funktioniert, Codex aber keinen Befehl ausführt, liegt das Problem eher in der Sitzung oder den Rechten des Arbeitsbereichs.
Diese Ebenen nacheinander zu testen spart Zeit. Der Key bewies den Zugang zum Gateway. Eine kurze Modellantwort bewies die Route. Ein harmloser Befehl bewies, dass Codex im Workspace handeln konnte. Erst danach startete die eigentliche Reparatur.
Der Agent konnte eine Datei lesen, den Test ausführen, den Traceback aufnehmen und eine andere Änderung versuchen, ohne dass jemand die Ausgabe zwischen zwei Fenstern kopieren musste. Diese Rückkopplung ist der eigentliche Nutzen. Eine Chat-Antwort mit einem Patch überlässt das Ausführen und Beobachten weiterhin dem Menschen.
Der Traceback kehrt in denselben Workspace zurück, in dem die nächste Änderung entsteht.
Viele Token sind bei einem Agenten normal
Der Lauf verbrauchte 773.893 Eingabe-Token. Davon waren 738.432 im Cache, 35.461 ohne Cache. Die Ausgabe umfasste 24.869 Token, darunter 8.033 Reasoning-Token.
Nach den am 27. Oktober 2026 veröffentlichten Crazyrouter-Preisen für DeepSeek V4 Flash ergibt sich:
| Bestandteil | Rechnung | Schätzung |
|---|---|---|
| Eingabe ohne Cache | 35.461 × 0,45 USD / 1 Mio. | 0,01596 USD |
| Eingabe aus dem Cache | 738.432 × 0,02 USD / 1 Mio. | 0,01477 USD |
| Ausgabe | 24.869 × 1,34 USD / 1 Mio. | 0,03332 USD |
| Gesamt | 0,064 USD |
Dieselbe Tokenmenge zu den veröffentlichten GPT-6.1-Sol-Preisen von 2 USD pro Million Eingabe-Token und 10 USD pro Million Ausgabe-Token ergibt rund 1,797 USD.
Beide Werte sind Listenpreis-Schätzungen, keine Rechnungen. Tarife, Cache-Regeln, Wiederholungen, Routing und eine andere Aufgabenmischung können den tatsächlichen Betrag verändern.
Die hohe Eingabezahl widerlegt außerdem eine bequeme Erklärung. DeepSeek brauchte keinen magisch kompakten Kontext. Der Agent las Dateien und Werkzeugausgaben mehrfach, was bei einer mehrstufigen Reparatur normal ist. Der Betrag war niedrig, weil jeder Token auf dieser Route einen niedrigeren Listenpreis hatte.
Vier verschiedene Prüfungen; eine gemeinsame Agentenzusammenfassung reicht dafür nicht.
Vier Prüfungen nach dem Agentenlauf
Die erste Prüfung ist der Exit-Status des Testbefehls. Nicht der Satz im Chat, sondern der Prozess, der tatsächlich endete.
Die zweite Prüfung vergleicht die geänderten Pfade mit der Aufgabengrenze. Eine Änderung außerhalb des vereinbarten Bereichs ist ein Grund anzuhalten, auch wenn alle Tests grün sind.
Die dritte Prüfung sieht sich den Diff und den Hash der genannten Datei an. Der Hash zeigt, ob sich etwas verändert hat. Der Diff zeigt, ob die richtige Änderung entstanden ist.
Die vierte Prüfung fragt Python, welche Datei es importiert hat:
$target = Join-Path $PWD "inventory_service.py"
(Get-FileHash $target -Algorithm SHA256).Hash
python -c "import inventory_service; print(inventory_service.__file__)"
Get-ChildItem -Name inventory_service*
Der Modul- und Zielname müssen an das jeweilige Projekt angepasst werden. Der Aufwand bleibt gering. Die Abfrage findet ein gleichnamiges Paket, einen Import aus einer alten Installation oder einen Lauf, der eine Änderung behauptet hat, ohne die Zieldatei zu schreiben.
Diese Kontrollen müssen nicht vom Modell stammen. Gerade deshalb sind sie nützlich. Sie widersprechen der Agentenzusammenfassung dann, wenn beide nicht dieselbe Geschichte erzählen.
Wo die günstige Route sinnvoll ist
DeepSeek in Codex passt zu begrenzten Reparaturen, bei denen ein fehlschlagender Test den Einstieg markiert und der Diff klein genug für eine menschliche Prüfung bleibt. Der niedrige Preis macht zusätzliche Versuche verkraftbar. Die Agentenschleife macht aus einem Versuch eine beobachtbare Änderung am Code.
Für Migrationen, Zahlungslogik, Authentifizierung und Produktionsänderungen bleibt die Prüfung trotzdem streng. Der Preis eines falschen Artefakts skaliert nicht mit der Modellrechnung. Ein Lauf für sechs Cent ist attraktiv. Ein Lauf für sechs Cent, der die falsche Datei ändert, ist kein Schnäppchen.
Drei vergleichbare Aufgaben pro Tag kämen bei diesem Tokenprofil auf ungefähr 0,19 USD pro Tag und etwa 5,83 USD im Monat. Dieselbe Rechnung zu den genannten GPT-6.1-Sol-Listenpreisen läge bei rund 5,39 USD pro Tag und etwa 161,73 USD im Monat. Das sind keine Prognosen für deinen Verbrauch, aber eine brauchbare Größenordnung: Der Unterschied ist groß genug für einen echten Test im eigenen Repository, nicht groß genug, um die Abnahme zu überspringen.
Ich würde die Route für diese Art von Aufgabe wieder verwenden. Nicht wegen der sechs Cent allein. Sondern weil DeepSeek im Codex-Kontext eine Rückkopplung ermöglicht, die ein normales Chatfenster nicht liefert. Der Preis macht das Ausprobieren leicht; Hash, Diff und Importpfad entscheiden, ob daraus eine Übergabe wurde.
Die aktuellen Verbindungsdetails dokumentiert Crazyrouter.
Top comments (0)