Originally published on NextFuture
Bạn bật extended thinking cho cả pipeline vì nó "thông minh hơn", rồi cuối tháng nhìn hóa đơn token gấp mấy lần. Accuracy nhích lên vài điểm, còn chi phí thì không nhích — nó nhân lên. Một paper mới trên arXiv đưa ra cách đo xem khoản token đó có đáng không, và chỉ ra loại task bạn nên tắt reasoning.
TES: accuracy tăng thêm, chia cho token tiêu thêm
Nhóm tác giả giới thiệu Token Economy Score (TES), một "marginal benchmarking metric" đo phần accuracy mà reasoning model ăn được so với baseline không reasoning, chuẩn hoá theo generated-token multiplier. Không hỏi "model nào giỏi hơn", mà hỏi "mỗi token nghĩ thêm mua được bao nhiêu accuracy" — đúng câu hỏi mà leaderboard xếp theo accuracy tuyệt đối không trả lời.
Phân tích chạy trên 151 model-benchmark evaluation run, qua bảy benchmark trải từ toán, code generation, science reasoning, instruction following, expert knowledge, knowledge recall đến research-level physics.
Cấu trúc task quyết định, không phải độ khó
Kết quả đáng chú ý nhất: task structure dự đoán reasoning efficiency tốt hơn độ khó danh nghĩa. Task dạng sequential inference chain như AIME 2025 và LiveCodeBench cho TES cao; task knowledge-recall như MMLU-Pro cho TES thấp, dù bản thân MMLU-Pro vẫn khó.
Quy tắc cho pipeline của bạn: bật reasoning ở bước phải suy luận nhiều bước liên tiếp — giải thuật toán, debug chuỗi nguyên nhân, sinh code thoả nhiều ràng buộc. Tắt ở bước tra cứu kiến thức, phân loại, hay trích xuất field. Đa số pipeline production trộn cả hai loại bước, và đó là chỗ tiền rò rỉ.
Paper cũng ghi nhận diminishing returns có hệ thống khi tăng reasoning effort, gồm cả trường hợp nghĩ thêm làm accuracy giảm. Nếu bạn đang mặc định để effort cao nhất, đó là giả định chưa kiểm chứng.
Tiền chảy vào đâu: RCS và DCM
Hai chỉ số phụ đáng đưa vào dashboard chi phí. Reasoning Cost Share (RCS) cho thấy chi tiêu inference thường bị chiếm phần lớn bởi internal thinking — token bạn trả tiền nhưng không bao giờ hiển thị cho user. Deployment Cost Multiplier (DCM) cho thấy chạy on-premises có thể đổi hẳn bài toán kinh tế của những reasoning workload vốn đắt.
Kết luận của paper là một model-selection rule: bật reasoning chọn lọc theo task type, effort level và deployment context, thay vì coi nó là chế độ luôn có lợi.
Cùng model, khác harness, khác kết quả
Một paper khác cùng đợt bổ sung góc thứ hai: với coding agent, harness — thứ quyết định model nhìn thấy gì và công việc tiếp diễn ra sao — có thể quan trọng ngang model. Nhóm này giữ nguyên model và task, chỉ đổi cách quản lý context: nhánh treatment rút gọn cơ học các tool result cũ khi context đầy dần, và phản ứng khi công việc lặp lại hoặc bế tắc.
Trên cohort SWE-bench Verified 169 task, cửa sổ 20.480 token, mốc dừng cố định 480 giây: treatment nâng mean per-task F2PF từ 28% lên 49%, số lời giải hoàn chỉnh từ 43 lên 72. Cùng cấu hình đó, không retune riêng, cũng cải thiện cả hai chỉ số cho ba model khác thiết kế.
Làm gì trong tuần này
Tách pipeline theo loại bước, tắt reasoning ở mọi bước thuần tra cứu hoặc phân loại, rồi đo lại accuracy trước khi giữ thay đổi.
Log tỉ lệ token thinking trên tổng token mỗi request — đó là RCS phiên bản tự làm, và thường là dòng chi phí lớn nhất.
So sánh effort level thấp/trung/cao trên eval set của chính bạn, thay vì tin mặc định của provider.
Trước khi đổi sang model đắt hơn, thử sửa harness trước: quản lý context có thể mua được phần cải thiện bạn tưởng phải mua bằng model.
Cả hai đều là preprint arXiv chưa qua peer review — coi con số là điểm khởi đầu để tự đo, không phải kết luận cuối.
This article was originally published on NextFuture. Follow us for more fullstack & AI engineering content.
Top comments (0)