Kimi K3 so với Claude Fable 5: mô hình nào phù hợp hơn cho tác vụ cần kiểm chứng?

#ai #api #llm #benchmark

Kimi K3 so với Claude Fable 5: mô hình nào phù hợp hơn cho tác vụ cần kiểm chứng?

Trong hệ thống thật, một phản hồi thành công chưa chắc là một kết quả dùng được. Bài test này kiểm tra cả bước tính trung gian, finish_reason và khả năng chạy của mã Python.

Khác biệt chính

Fable 5 có độ trễ trung bình 37,1 giây, trong khi Kimi K3 là 108,0 giây. Đổi lại, Kimi K3 tạo chuỗi kiểm chứng toán học nhất quán hơn.

Lập trình: ngân sách đầu ra quyết định tính hoàn chỉnh

Hàm Python phải gộp retry theo request_id, đọc thời gian ISO-8601, lọc khoảng nửa kín [start,end), tổng hợp token và độ trễ, rồi sắp xếp theo nhiều khóa.

Round 1, max_tokens=4000:
Kimi K3 finish_reason=length
Fable 5 finish_reason=length

Retry, max_tokens=7000:
Kimi K3: 145.2 s, 5199 completion tokens, 8/8 assertions
Fable 5: 46.6 s, 3710 completion tokens, 8/8 assertions

Ở mức 4.000 tokens, cả hai kết thúc với length. Khi tăng lên 7.000, hai chương trình Python đều vượt qua tám assert giống nhau.

Thiết kế bài test

Test date: 2026-07-17
Base URL: https://cn.crazyrouter.com/v1
Endpoint: POST /v1/chat/completions
Models: kimi-k3, claude-fable-5
temperature: 0.2
Round 1 max_tokens: 4000
Coding retry max_tokens: 7000

Hai mô hình nhận cùng prompt và cùng tiêu chí nghiệm thu. HTTP 200 không được xem là đủ: chúng tôi kiểm tra giá trị cuối, trạng thái trung gian, finish_reason, Python có thể chạy và cùng một bộ assertion.

Kết quả tổng hợp

Tác vụ	Kimi K3	Claude Fable 5
Xác suất HHTH	Đạt	Kết quả cuối đúng; sai số học ở bước trung gian
Va chạm và lò xo	Đạt	Đạt
Tổng hợp Python	Bị cắt ở 4k; đạt ở 7k	Bị cắt ở 4k; đạt ở 7k
Lịch ràng buộc	Đạt	Đạt

Độ trễ trung bình — Kimi K3: 108.0 s
Độ trễ trung bình — Claude Fable 5: 37.1 s

Bài toán: đáp án cuối đúng chưa đủ

Bài toán đồng xu lệch yêu cầu tính số lần tung kỳ vọng trước lần xuất hiện đầu tiên của HHTH, với P(H)=3/5 và cho phép chồng lấn. Kết quả đúng là:

E[T] = 715/54 ≈ 13.2407407407
E1 = 625/54
E2 = 475/54
E3 = 170/27

Kimi K3 đối chiếu phương trình trạng thái với hai cách kiểm tra độc lập. Fable 5 có đáp án cuối đúng nhưng hai giá trị trung gian không khớp với chính phương trình của nó.

Vật lý: cả hai mô hình đều đúng

Bài vật lý kết hợp va chạm hoàn toàn không đàn hồi, ma sát và nén lò xo. Cả hai mô hình đều cho:

Post-collision speed: 2.4 m/s
Energy lost in collision: 21.6 J
Maximum compression: about 0.2212 m

Cả hai tính được độ nén lò xo khoảng 0,2212 m và lịch duy nhất Eli, Bo, Ada, Cici, Deng.

Ý nghĩa của reasoning tokens khi vận hành

Kimi K3 completion tokens: 13,975
Kimi K3 reasoning tokens: about 12,500
Fable 5 completion tokens: 10,187

Kimi K3 báo cáo khoảng 12.500 reasoning tokens. Việc suy luận sâu hơn đi cùng độ trễ cao hơn và ít không gian hơn cho mã hiển thị.

Suy luận ràng buộc: cùng một nghiệm duy nhất

Cả hai mô hình đều tìm được lịch làm việc duy nhất:

Thứ hai	Thứ ba	Thứ tư	Thứ năm	Thứ sáu
Eli	Bo	Ada	Cici	Deng

Cả hai tính được độ nén lò xo khoảng 0,2212 m và lịch duy nhất Eli, Bo, Ada, Cici, Deng.

Gợi ý định tuyến mô hình

Dùng Fable 5 trước cho mã có thể test tự động
Giữ Kimi K3 cho suy luận toán chính xác
Luôn kiểm tra finish_reason và chạy test

Giới hạn của phép thử

Đây là mẫu thử nhỏ, không phải bảng xếp hạng phổ quát. Đánh giá production nên lặp mỗi nhóm 20–50 lần và đo tỷ lệ thành công, tỷ lệ bị cắt, thời gian tới token đầu tiên, P50/P95/P99, completion tokens và chi phí cho mỗi kết quả được chấp nhận.

Kết luận

Trong lần thử này, Fable 5 là tuyến phản hồi nhanh; Kimi K3 là tuyến thận trọng hơn cho các bước toán trung gian.

from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://cn.crazyrouter.com/v1")
response = client.chat.completions.create(
    model="kimi-k3",
    temperature=0.2,
    max_tokens=4000,
    messages=[{"role": "user", "content": "YOUR_TEST_PROMPT"}],
)
print(response.model, response.choices[0].finish_reason, response.usage)