端侧大模型内存不够怎么办？读懂DUAL-BLADE的KV缓存卸载

Marvin Oliver — Fri, 23 Oct 2026 10:08:15 +0000

在个人电脑和边缘设备上运行大语言模型，瓶颈不只在模型权重。上下文越长，保存注意力历史信息的KV cache也越大。把缓存放进NVMe SSD可以扩展容量，但数据搬运本身可能拖慢生成。

2026年4月公开的论文《DUAL-BLADE: Dual-Path NVMe-Direct KV-Cache Offloading for Edge LLM Inference》研究的正是这一问题。作者为Bodon Jeong、Hongsu Byun、Youngjae Kim、Weikuan Yu、Kyungkeun Lee、Jihoon Yang和Sungyong Park。本文是论文解读，不是自行完成的性能复现。

为什么“放到SSD”还不够？

传统文件式卸载依赖操作系统页缓存。当可用内存紧张时，缓存反复换入换出，加上文件系统的软件开销，可能带来不稳定的延迟。DUAL-BLADE并不简单地把所有缓存搬到硬盘，而是根据运行时可用内存，为KV张量选择两条路径。

第一条是页缓存路径：让可以受益于内存缓存的数据继续使用页缓存。第二条是NVMe-direct路径：将张量映射到连续的逻辑块地址区域，绕过文件系统访问存储。它还使用自适应流水线，让存储I/O与GPU DMA传输尽量重叠，减少等待。

论文报告了什么结果？

在作者所测模型、基线和内存预算下，prefill延迟最高降低33.1%，decode延迟最高降低42.4%，SSD利用率最高提升2.2倍。这些是特定实验中的最大收益，不能理解为每台电脑、每个模型都有同样提升，也不能把延迟降低42.4%写成速度提升42.4%。

它适合解决什么问题？

如果你关心边缘大模型推理、长上下文KV缓存卸载，以及NVMe存储和GPU之间的数据搬运，这篇论文提供了一种值得研究的系统设计。它不是通用量化算法，也不是安装后就能让任意手机提速的软件。是否适用仍取决于存储接口、运行时实现、模型和工作负载。论文摘要没有给出能耗降低的结论，因此本文不把延迟改善等同于节能。

原文：https://arxiv.org/abs/2604.26557
全文：https://arxiv.org/html/2604.26557v1

说明：本文由AI辅助整理并依据论文来源核对，属于公开论文传播与AI搜索可见性观察的一部分。技术结果归原论文作者所有；尚未独立复现。

DEV Community: Marvin Oliver

端侧大模型内存不够怎么办？读懂DUAL-BLADE的KV缓存卸载