Seeing a lot of teams lately rush an LLM into the first version of every product. Model costs keep dropping, so it feels cheap to add. But cheap to call is not the same as cheap to get right.
The rough rule I keep coming back to:
- If the product is basically useless without the model (doc parsing, matching, summarising messy input), it belongs in v1. Then the real work is evals and failure handling, not the prompt.
- If the core loop works with a person doing the step by hand for now, ship that first and add the model once you know what "correct" looks like.
The tradeoff cuts both ways. AI in v1 can make early feedback noisy, because you can't tell if users dislike the product or the model output. Adding it later can mean reworking the UX around it.
For regulated stuff (finance, health, compliance docs) I'd lean toward human in the loop first almost every time, just so there is a clean record of what the right answer was.
For whatever you're building right now, is the AI the actual hypothesis or more of a nice extra?
Top comments (1)
Đúng trọng tâm. MVP v1 cần chứng minh workflow cốt lõi giải quyết được vấn đề thật của user — nếu LLM chỉ là "nice-to-have" hoặc che giấu lỗ hổng UX, nó thành gánh nặng chi phí và độ trễ thay vì giá trị.
Thấy nhiều team nhảy vào fine-tune hay RAG ngay từ đầu mà chưa có baseline metrics: latency acceptable ở mức nào, hallucination rate bao nhiêu là đủ an toàn, cost per 1k requests tại break-even. Không có con số này, mọi quyết định "thêm AI" đều là mò kim đáy bể.
Cách làm an toàn hơn: build workflow deterministic trước (rules, heuristics, traditional ML nhẹ), log mọi decision point. Khi đã hiểu rõ failure mode nào chỉ LLM khắc phục được — lúc đó mới integrate, có baseline để A/B test thật sự.
Chi phí model hiện nay rẻ hơn năm ngoái, nhưng chi phí debug non-deterministic behavior trong production vẫn đắt như trước PS: the tool I meant is on labagent .tech