DEV Community

cognitalk
cognitalk

Posted on

Can JEV / TEV replace Embedding for intent recognition? | Jev / TEV 能不能干掉 Embedding 做意图识别？

#ai #llm #machinelearning

Jev / TEV 能不能干掉 Embedding 做意图识别？

不能完全替代，但可以干掉一大半传统 Embedding 意图识别的场景，二者有明确分工，不是简单谁取代谁。

先把两套方案本质讲通俗：

1、老方案：Embedding 向量做意图识别

流程：句子 → 向量化 → 向量相似度检索，匹配预先写好的意图库

  • 原理：语义相似度匹配，靠向量空间远近判断属于哪个意图
  • 适合：意图集合固定、提前建好库；意图数量可以很大（几千、上万）
  • 痛点：
    1. 只看语义相似，不理解逻辑条件、约束规则。 例：“我要退款但订单已经超过180天”，向量会匹配“退款意图”，但业务上不允许退款；向量看不出时间条件。
    2. 歧义、否定很容易翻车：“我不想退款”，向量依然靠近退款向量。
    3. 新增意图：要重新加入样本、重新索引。
    4. 很难做“并行多判断”：同时判断【是不是退款、是不是投诉、是否紧急、是否用户撒谎】，Embedding要多次检索，不好原生输出置信度分数。

2、Jev / TEV（System‑One决策模型）做意图识别

Choice/Noul 原生做意图分类，输出校准概率

  • 原理：带指令理解的决策打分，能读懂描述、条件、否定、边界定义。 
"route_team": {
  "type": "choice",
  "instructions":"判断用户诉求",
  "criteria":{
    "refund":"用户要求退款，订单未超180天",
    "complaint":"用户表达不满投诉",
    "consult":"普通业务咨询"
  }
}
Enter fullscreen mode Exit fullscreen mode

👉 你可以直接在criteria里面写业务边界条件，这点Embedding做不到。

优点：

  1. 零样本/少样本直接上，不用提前堆一堆标注样本建向量库。新增意图直接改JSON配置，不用重新索引。
  2. 天然支持否定、条件、复杂业务规则描述。
  3. 一次请求并行输出：意图 + 是否紧急 + 是否风险，多个判断一起返回。
  4. 输出校准后的概率，方便设置阈值，置信低自动丢给System2大模型。

短板（致命，决定它不能完全干掉Embedding）：

  1. Choice选项数量有硬上限（原版Jev上限255个）。 > 如果你的意图库是 2000、10000+ 细粒度意图，TEV/Jev直接扛不住；Choice不能塞一万个选项进去。
  2. 大量长尾细粒度意图成本高：几百个以内意图很爽；上千意图，你要维护大量criteria文本，推理开销上升。
  3. 对完全没见过的全新陌生意图，泛化虽然好，但不如检索式Embedding的“召回”能力。

✅ 什么时候可以把 Embedding 意图识别换掉？

满足下面，直接上 TEV/Jev，Embedding那套可以下线：

  • 意图总数几十～一两百个；
  • 意图之间业务边界复杂，有很多条件、例外、否定；
  • 经常要新增/修改意图，不想反复维护向量库、重刷索引；
  • 不光要“识别意图”，还要同时并行判断紧急度、风险、真假； > 典型场景：客服工单分诊、Agent工具选择、风控初筛。

✅ 什么时候 Embedding 还不能丢，依然要保留？

  1. 意图规模很大：几百上千甚至上万细粒度意图 > 比如大型知识库问答，几千个问题模板，用Embedding做召回是成本最低的；塞给TEV Choice不现实。
  2. 主要做召回、知识库检索、相似问句匹配 > Embedding擅长：“找历史最相似的用户query”，这是检索任务，不是决策分类任务。Jev‑TEV不是检索器。
  3. 大量长尾、冷样本，需要做粗筛召回，再交给决策模型精判。

🚀 现在业界最优组合（生产落地主流）

模式A：小规模业务（<150意图）

直接TEV/Jev完成意图识别，淘汰Embedding意图模块。

模式B：大规模意图（几百/上千意图）

Embedding做粗召回 → TEV做精判过滤

  1. Embedding向量库：从1000个候选意图里粗召回Top‑K（比如Top5）；
  2. 把召回出来的5个意图丢进TEV的Choice；
  3. TEV结合业务条件、规则，选出最终意图，输出概率；置信不足交给System2大模型。

既利用Embedding能扛海量候选的优势，又利用TEV能理解业务条件、做严谨决策的能力。

🧠 举个直观例子

业务：客服意图识别，总共120个意图 → 直接TEV，Embedding意图模块可以删掉。
业务：企业内部FAQ，3000条问答 → Embedding召回Top‑8，再喂TEV做最终选择校验。

容易踩的误区

❌“有TEV了，向量库全部干掉”
向量有两类用途要区分：

  1. 向量用于【意图分类】：小场景可以被TEV替换。
  2. 向量用于【知识库检索、相似query召回、RAG】：完全不能被Jev/TEV替代，TEV没有检索能力。

一句话总结

小规模、带业务规则的意图识别，TEV/Jev可以把Embedding那套意图分类给干没；
海量候选召回、RAG知识库检索，Embedding依旧不可替代；
大规模意图最佳实践：Embedding粗召回 + TEV精决策。

Top comments (0)