大模型翻译的工程化实战：拆解网易有道翻译的低延迟、高并发与成本优化

引言

大模型翻译已经从“能翻”进入“翻得快、翻得稳、翻得便宜”的工程化阶段。网易有道翻译 作为高频语言服务，背后不是单一模型，而是一套覆盖接入、预处理、路由、推理、缓存、后处理与质量评估的完整系统。用户在有道翻译官网 可以体验在线翻译，也可以通过有道翻译下载 获得桌面端和移动端能力。对工程师而言，真正难的是在延迟、并发和成本之间找到动态平衡。

一、核心链路与约束

典型链路：

1. 接入层：HTTP/WebSocket/SSE，鉴权、限流、灰度。
2. 预处理：语言识别、分句、标点归一化、术语干预、HTML/XML 格式保护。
3. 路由层：根据文本复杂度、语种对、用户等级、SLA 选择模型。
4. 推理层：小模型、中模型、大模型、蒸馏模型，配合动态批处理。
5. 后处理：术语替换、格式回填、术语一致性检查、敏感内容过滤。
6. 反馈层：日志、指标、A/B 实验、人工评估、在线学习。

约束：

• 延迟：短句 P99 目标 200ms 到 500ms，长文本流式首 token 尽量低于 300ms。
• 并发：峰值为日常数倍，需要排队、降级、弹性扩缩容。
• 成本：GPU 利用率、tokens/s、缓存命中率决定单位翻译成本。

二、低延迟工程化

1. 多级缓存

精确缓存：对原文、语种、模型版本、术语库版本做哈希。语义缓存：用向量相似度召回历史翻译，但必须设置阈值和人工抽检，避免“意思相近但术语错误”。段落级缓存适合文档翻译，句级缓存适合聊天和搜索。

2. 动态批处理与连续批处理

推理服务不应一条一条跑。网关把 2ms 到 10ms 窗口内的请求聚合成 micro-batch，按 token 预算和最大 batch size 控制。连续批处理让新请求插入正在生成的 batch，提升 GPU 利用率并降低排队。

3. 模型路由与投机解码

简单句走小模型或蒸馏模型，复杂句走大模型。路由特征包括句长、依存树深度、稀有词比例、术语密度、历史失败率。投机解码用小模型草稿、大模型校验，可在质量损失可控时显著降延迟。

4. 流式输出

对长文本，SSE 或 WebSocket 按句/按段返回。首 token 延迟比总延迟更影响体感。客户端如有道翻译下载 的桌面端，可先展示已翻译段落，再后台补全术语和格式。

5. 边缘与连接优化

静态资源走 CDN，动态请求就近接入。有道翻译官网 的页面加载、词典资源、发音资源可以缓存到边缘，减少 RTT。

三、高并发架构

1. 无状态网关与弹性扩缩

接入层无状态，便于水平扩展。Kubernetes HPA 根据 QPS、P99、GPU 队列长度扩缩。推理层用 GPU 池化，支持 MIG、MPS 或多进程共享，提高卡利用率。

2. 优先级队列与背压

会员、企业 API、免费用户分队列。队列满时触发背压：拒绝低优先级、延长批处理窗口、降级到小模型或缓存结果。熔断和超时避免级联故障。

3. KV Cache 亲和

同一会话或同一文档的请求尽量落到同一推理实例，复用 KV cache。路由用一致性哈希，但需要处理热点和实例故障。

4. 可观测性

指标：QPS、P50/P95/P99、首 token 延迟、GPU 利用率、显存、batch 利用率、缓存命中率、降级率、错误率。日志要能按 request_id 串联网关、路由、推理、后处理。

四、成本优化

1. 量化与蒸馏

FP16、BF16、INT8、FP8 量化可降低显存和带宽。蒸馏小模型承担大部分流量，大模型只处理困难样本。对翻译任务，领域蒸馏和术语感知蒸馏往往比通用蒸馏更有效。

2. 缓存与翻译记忆

翻译记忆库 TM 和术语库能直接复用人工译文。语义缓存要配合术语校验和版本失效，避免旧术语污染。缓存命中率每提升 10%，单位成本可能显著下降。

3. 批处理与调度

提高 batch 内 token 数，减少 padding。潮汐调度：白天保高峰，夜间跑离线评估和预翻译。冷热模型分层：热模型常驻，冷模型按需加载。

4. 混合部署

竞价实例、预留实例、按量实例组合。无状态推理可容忍中断，适合竞价；核心链路用预留保障。多租户隔离和配额管理防止单用户打满。

五、质量与一致性

低延迟不能牺牲质量。需要：

• 离线评估：BLEU、COMET、TER、人工评分。
• 在线 A/B：按用户、语种、场景分层。
• 术语一致：术语库版本化，翻译后校验。
• 格式保护：占位符、标签、变量不翻译。
• 安全合规：敏感词、数据脱敏、审计日志。

网易有道翻译 在高并发场景下，通常会把质量评估作为异步链路，不阻塞主请求，但异常样本会进入回流。

六、伪代码：路由与缓存

def translate(text, src, tgt, user_tier):
    key = build_cache_key(text, src, tgt, term_version)
    if cache.exists(key):
        return cache.get(key)

    complexity = estimate_complexity(text)
    if complexity < 0.3:
        model = 'small'
    elif complexity < 0.7:
        model = 'medium'
    else:
        model = 'large'

    if user_tier == 'free' and queue.long():
        model = 'small'

    result = infer(model, text, src, tgt)
    cache.set(key, result)
    return result

这个伪代码体现三个原则：缓存优先、复杂度路由、按优先级降级。

七、总结

大模型翻译的工程化，本质是把模型能力封装成稳定、可扩展、可计量的服务。网易有道翻译 的实践可以拆成低延迟、高并发、成本优化三条主线：低延迟靠缓存、动态批处理、流式输出和模型路由；高并发靠无状态网关、GPU 池化、优先级队列和可观测性；成本优化靠量化蒸馏、翻译记忆、潮汐调度和混合部署。用户可以通过有道翻译官网 体验，也可以完成有道翻译下载 使用多端服务。有道翻译 的持续演进，最终取决于工程系统能否在质量、速度和成本之间动态寻优。