Kimi K3와 Claude Fable 5 실측: 수학 검증, 코드 완결성, 응답 속도의 차이

#ai #api #llm #benchmark

Kimi K3와 Claude Fable 5 실측: 수학 검증, 코드 완결성, 응답 속도의 차이

운영 환경에서는 정답처럼 보이는 문장보다 검증 가능한 과정과 완성된 산출물이 중요합니다. 이번 테스트는 중간 계산과 실행 가능한 코드까지 확인했습니다.

이번 테스트의 핵심 차이

Fable 5의 평균 지연은 37.1초, Kimi K3는 108.0초였습니다. 반면 수학 문제의 중간 상태 검증은 Kimi K3가 더 일관적이었습니다.

결과 요약

과제	Kimi K3	Claude Fable 5
HHTH 확률	통과	최종값은 통과했지만 중간 산술 오류
충돌과 스프링	통과	통과
Python 집계	4k에서 잘림, 7k에서 통과	4k에서 잘림, 7k에서 통과
일정 제약	통과	통과

평균 지연 — Kimi K3: 108.0 s
평균 지연 — Claude Fable 5: 37.1 s

reasoning tokens와 운영 비용

Kimi K3 completion tokens: 13,975
Kimi K3 reasoning tokens: about 12,500
Fable 5 completion tokens: 10,187

Kimi K3는 첫 라운드에서 약 12,500 reasoning tokens를 보고했습니다. 더 많은 검증은 높은 지연과 긴 코드의 가시 출력 부족으로 이어질 수 있습니다.

코드: 첫 실패 원인은 출력 예산

Python 함수는 request_id 기준 retry 병합, ISO-8601 시간 처리, 반개구간 [start,end) 필터링, token·지연 집계, 다중 키 정렬을 수행해야 했습니다.

Round 1, max_tokens=4000:
Kimi K3 finish_reason=length
Fable 5 finish_reason=length

Retry, max_tokens=7000:
Kimi K3: 145.2 s, 5199 completion tokens, 8/8 assertions
Fable 5: 46.6 s, 3710 completion tokens, 8/8 assertions

4,000 tokens에서는 두 응답 모두 length로 종료됐습니다. 7,000으로 늘리자 두 Python 구현 모두 같은 8개 assert를 통과했습니다.

테스트 조건

Test date: 2026-07-17
Base URL: https://cn.crazyrouter.com/v1
Endpoint: POST /v1/chat/completions
Models: kimi-k3, claude-fable-5
temperature: 0.2
Round 1 max_tokens: 4000
Coding retry max_tokens: 7000

두 모델에는 동일한 프롬프트와 검수 기준을 적용했습니다. HTTP 200만으로 성공을 판단하지 않고 최종값, 중간 상태, finish_reason, 실행 가능한 Python, 동일한 assertion을 확인했습니다.

수학: 최종 답보다 중간 일관성

편향된 동전 문제는 P(H)=3/5, 패턴 중첩 허용 조건에서 첫 HHTH까지의 기대 횟수를 묻습니다. 정답은 다음과 같습니다.

E[T] = 715/54 ≈ 13.2407407407
E1 = 625/54
E2 = 475/54
E3 = 170/27

Kimi K3는 상태 방정식, 패턴 border, 공정한 동전 특수값을 교차 검증했습니다. Fable 5는 최종값은 맞았지만 두 중간값이 자체 방정식과 일치하지 않았습니다.

물리: 두 모델 모두 단계 분리 성공

물리 문제는 완전 비탄성 충돌, 마찰, 스프링 압축의 두 단계로 구성했습니다. 두 모델의 결과는 다음과 같습니다.

Post-collision speed: 2.4 m/s
Energy lost in collision: 21.6 J
Maximum compression: about 0.2212 m

두 모델 모두 스프링 압축량 약 0.2212 m와 Eli, Bo, Ada, Cici, Deng의 유일 일정을 찾았습니다.

제약 추론: 동일한 유일 해

두 모델은 동일한 유일한 요일별 일정을 찾았습니다.

월요일	화요일	수요일	목요일	금요일
Eli	Bo	Ada	Cici	Deng

두 모델 모두 스프링 압축량 약 0.2212 m와 Eli, Bo, Ada, Cici, Deng의 유일 일정을 찾았습니다.

업무별 모델 라우팅

대량의 테스트 가능한 코드는 Fable 5부터 평가
정확한 수학 전개에는 Kimi K3 유지
긴 코드는 finish_reason과 실행 테스트를 필수화

테스트의 한계

작은 표본의 실측이지 보편적인 순위표가 아닙니다. 운영 평가에서는 각 범주를 20~50회 반복하고 성공률, 잘림 비율, 첫 token 시간, P50/P95/P99 지연, completion tokens, 승인된 결과당 비용을 측정해야 합니다.

결론

이번 표본에서 Fable 5는 빠른 전달 경로였고, Kimi K3는 수학 중간 상태를 더 신중하게 검증하는 경로였습니다.

from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://cn.crazyrouter.com/v1")
response = client.chat.completions.create(
    model="kimi-k3",
    temperature=0.2,
    max_tokens=4000,
    messages=[{"role": "user", "content": "YOUR_TEST_PROMPT"}],
)
print(response.model, response.choices[0].finish_reason, response.usage)