Originally published on NextFuture
Bạn bật model reasoning cho một endpoint format JSON, rồi phát hiện p95 latency tăng gấp ba và hóa đơn token tăng theo. Vấn đề không phải chọn sai model — mà là mọi request đều bị đẩy qua cùng một lượng suy luận, kể cả những request không cần.
Gemini 3.7 Flash đưa lượng suy luận đó thành một tham số bạn tự đặt. Dưới đây là ba chế độ và cách chọn giữa chúng.
Thinking budget là tham số, không phải hộp đen
Theo bài phân tích kỹ thuật trên Dev.to, cơ chế cốt lõi là "the Thinking Budget parameter exposed within the generation configuration" — tức tham số nằm trong phần cấu hình sinh nội dung của request, không phải một hành vi cố định của model. Bài viết mô tả ba chế độ:
Budget = 0 — bỏ qua hoàn toàn giai đoạn lập kế hoạch nội bộ. Bài viết mô tả model chạy với đặc tính time-to-first-token dưới một giây của các model flash tiêu chuẩn, phù hợp cho phân loại, format cú pháp, hoặc các lượt hội thoại ngắn.
Dynamic / Unconstrained — model tự quyết định đường đi suy luận dựa trên độ phức tạp của prompt, có thể cấp tới hàng chục nghìn reasoning token cho các bài toán nhiều bước hoặc refactor kiến trúc.
Capped Budget — giới hạn trần cứng; ví dụ bài viết đưa ra là khoảng 1.024 đến 8.192 token. Model lập kế hoạch trong trần đó và ưu tiên các bước cốt lõi.
Vì sao trần cứng quan trọng với hóa đơn
Chi tiết đáng chú ý nhất với đội đang chạy pipeline: bài viết nêu rằng trong cấu trúc tính phí API, reasoning token được tính vào tổng số token sinh ra. Hệ quả là các vòng suy luận không giới hạn trong pipeline xử lý theo lô có thể nhân chi phí hạ tầng lên nếu thiếu trần cứng.
Đây là kiểu chi phí khó phát hiện: mỗi request riêng lẻ vẫn bình thường, chỉ tổng cuối tháng là lệch. Chạy batch thì đặt capped budget trước, đo sau.
Ba quy tắc cấu hình từ nguồn
Đừng cho suy luận nhiều trên task xác định. Bài viết chỉ rõ việc cấp budget lớn cho các task có khuôn mẫu rõ ràng — như serialize JSON boilerplate hay viết regex đơn giản — làm tăng latency mà không có cải thiện chất lượng đo được.
Tính đến TTFT kéo dài. Khi budget vượt vài nghìn token, độ trễ streaming ban đầu tăng theo tỉ lệ. Giao diện người dùng cần loading indicator hoặc tóm tắt suy nghĩ trung gian.
Quản trị hiển thị phần suy nghĩ. Thought có thể được kiểm tra để debug và audit tuân thủ, nhưng bài viết khuyến nghị ứng dụng production tách phần văn bản suy luận nội bộ khỏi màn hình hiển thị cho khách hàng.
Áp dụng cho hệ thống của bạn
Phần này là phân tích của chúng tôi, không lấy từ nguồn: hãy chia endpoint thành hai nhóm. Nhóm đồng bộ có người dùng ngồi chờ — đặt budget 0. Nhóm bất đồng bộ chạy nền — cho phép dynamic hoặc capped, vì thêm vài giây không ai thấy. Chỉ nới trần khi có số đo cụ thể.
Lưu ý về nguồn: bài phân tích này tự ghi là xuất bản trên TechNest, một ấn phẩm công nghệ độc lập có hỗ trợ AI. Bài dẫn mô tả từ Google DeepMind rằng Gemini 3.7 Flash là một bước lặp kiến trúc trong dòng Gemini 3, và dẫn tài liệu API mô tả model này là natively multimodal. Hãy đối chiếu tên tham số với tài liệu API chính thức trước khi chốt cấu hình production.
Việc nên làm tuần này
Liệt kê các endpoint đang gọi model reasoning, đánh dấu cái nào thực sự cần nhiều bước suy luận, rồi đặt trần cho phần còn lại. Con số đáng theo dõi là tỉ lệ reasoning token trên tổng output token — nếu nó tăng mà chất lượng không đổi, trần của bạn đang quá cao.
This article was originally published on NextFuture. Follow us for more fullstack & AI engineering content.
Top comments (0)