DEV Community

Cover image for Kimi K3 против Claude Fable 5: точность проверки, обрезка кода и задержка API
Jemmmm
Jemmmm

Posted on • Originally published at crazyrouter.com

Kimi K3 против Claude Fable 5: точность проверки, обрезка кода и задержка API

#ai #api #llm #benchmark

Kimi K3 против Claude Fable 5: точность проверки, обрезка кода и задержка API

Kimi K3 против Claude Fable 5

Для продакшена недостаточно знать, что модель получила правильный итог. Важно проверить промежуточные значения, полноту кода и причину остановки ответа. Именно на этих рисках построен тест.

Главный компромисс

Средняя задержка Fable 5 составила 37,1 секунды, Kimi K3 — 108,0 секунды. При этом Kimi K3 дал более согласованную математическую проверку, а Fable 5 допустил ошибку в промежуточных состояниях.

Краткие результаты

Задача Kimi K3 Claude Fable 5
Вероятность HHTH Пройдено Итог верен; промежуточная арифметика ошибочна
Столкновение и пружина Пройдено Пройдено
Агрегация Python Обрезано на 4000; пройдено на 7000 Обрезано на 4000; пройдено на 7000
Логика расписания Пройдено Пройдено 
Средняя задержка — Kimi K3: 108.0 s
Средняя задержка — Claude Fable 5: 37.1 s
Enter fullscreen mode Exit fullscreen mode

Код: лимит 4000 токенов оказался недостаточным

Python-функция должна была объединять повторы по request_id, разбирать ISO-8601, фильтровать полуинтервал [start,end), считать token и задержку и выполнять многоуровневую сортировку.

Round 1, max_tokens=4000:
Kimi K3 finish_reason=length
Fable 5 finish_reason=length

Retry, max_tokens=7000:
Kimi K3: 145.2 s, 5199 completion tokens, 8/8 assertions
Fable 5: 46.6 s, 3710 completion tokens, 8/8 assertions
Enter fullscreen mode Exit fullscreen mode

При max_tokens=4000 обе модели завершились с length. После увеличения до 7000 обе программы прошли восемь одинаковых проверок Python.

Математика: правильный итог не гарантирует правильную проверку

В задаче о смещённой монете требовалось найти ожидаемое число бросков до первого HHTH при P(H)=3/5 с перекрытиями. Правильный результат:

E[T] = 715/54 ≈ 13.2407407407
E1 = 625/54
E2 = 475/54
E3 = 170/27
Enter fullscreen mode Exit fullscreen mode

Kimi K3 сверил автомат состояний, формулу границ шаблона и частный случай честной монеты. Fable 5 получил правильную дробь, но два промежуточных значения не удовлетворяли его же уравнениям.

Методика 

Test date: 2026-07-17
Base URL: https://cn.crazyrouter.com/v1
Endpoint: POST /v1/chat/completions
Models: kimi-k3, claude-fable-5
temperature: 0.2
Round 1 max_tokens: 4000
Coding retry max_tokens: 7000
Enter fullscreen mode Exit fullscreen mode

Обе модели получили одинаковые промпты и критерии приёмки. HTTP 200 не считался достаточным: проверялись итоговые значения, промежуточные состояния, finish_reason, исполняемый Python и одинаковые assertions.

Физика: обе модели разделили этапы корректно

Физическая задача состояла из неупругого столкновения, трения и сжатия пружины. Обе модели получили:

Post-collision speed: 2.4 m/s
Energy lost in collision: 21.6 J
Maximum compression: about 0.2212 m
Enter fullscreen mode Exit fullscreen mode

Обе модели получили сжатие пружины около 0,2212 м и единственный график Eli, Bo, Ada, Cici, Deng.

Что означают reasoning tokens 

Kimi K3 completion tokens: 13,975
Kimi K3 reasoning tokens: about 12,500
Fable 5 completion tokens: 10,187
Enter fullscreen mode Exit fullscreen mode

Kimi K3 сообщил примерно 12 500 reasoning tokens. Дополнительная проверка сопровождалась большей задержкой и меньшим запасом для видимого кода.

Логика ограничений: одинаковое единственное решение

Обе модели нашли одно и то же единственное расписание по дням недели:

Пн Вт Ср Чт Пт
Eli Bo Ada Cici Deng

Обе модели получили сжатие пружины около 0,2212 м и единственный график Eli, Bo, Ada, Cici, Deng.

Практическая маршрутизация

  • Для массового проверяемого кода сначала тестировать Fable 5
  • Для точных математических выводов оставлять Kimi K3
  • Всегда проверять finish_reason и запускать код

Ограничения эксперимента

Это небольшой эксперимент, а не универсальный рейтинг. Для продакшена каждую категорию следует повторить 20–50 раз и измерить успешность, долю обрезанных ответов, время до первого token, P50/P95/P99, completion tokens и стоимость принятого результата.

Вывод

В этом тесте Fable 5 был быстрым маршрутом доставки, а Kimi K3 — более осторожным маршрутом математической проверки.

from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://cn.crazyrouter.com/v1")
response = client.chat.completions.create(
    model="kimi-k3",
    temperature=0.2,
    max_tokens=4000,
    messages=[{"role": "user", "content": "YOUR_TEST_PROMPT"}],
)
print(response.model, response.choices[0].finish_reason, response.usage)
Enter fullscreen mode Exit fullscreen mode

Полная статья: https://crazyrouter.com/ru/blog/kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026-ru

API: https://crazyrouter.com/register?utm_source=crazyrouter_blog&utm_medium=article&utm_campaign=kimi_k3_fable5_multilingual_20260718&utm_content=kimi-k3-vs-claude-fable-5-hard-reasoning-benchmark-2026-ru__body_cta&utm_term=kimi-k3+claude-fable-5+benchmark

Top comments (0)