mobile wallpaper 1
mobile wallpaper 2
mobile wallpaper 3
mobile wallpaper 4
2097 字
6 分钟
KV Cache 正在变成一层存储
2026-09-21

先看一个很具体的数字。

一个 Llama 3 70B 模型,单个 128,000 token 的请求,KV Cache 需要约 40GB(精确口径为 39.06GB)。而这还只是缓存——模型权重本身在 FP16 下就要约 140GB。

KV Cache 的大小随「请求数 × 上下文长度」线性增长。这意味着它不是一个固定的开销,而是一个会随并发数直接放大的变量。

从「引擎内部的缓存」到「系统级资源」#

过去 KV Cache 被看作推理引擎内部的一项性能优化:上下文短、并发有限,一次请求结束缓存就失去价值。

现在三个条件都变了:

  • 规模更大。 上下文窗口从几千 token 扩展到 128K、1M 甚至更长,单个请求产生的 KV Cache 显著增加;高并发又进一步放大整体容量需求。
  • 复用范围更广。 Prefill/Decode 分离、弹性调度、多节点协同等架构兴起后,一个请求产生的 KV Cache 不再只服务某一张 GPU,也不一定只存在于某一个节点。
  • 生命周期更复杂。 有些 KV Block 只活在一次短暂请求里,有些则伴随多轮交互和 Agent 工作流被持续保存、反复调用。

问题从「显存够不够」变成了四连问:放在哪、怎么共享、何时迁移、保留多久。

这也是为什么行业开始把它当成基础设施而不是缓存来设计。

已经出现的分层结构#

目前比较清楚的层级是这样:

  • G1 GPU 显存:承载访问最频繁的 KV Cache,性能最高,但容量有限、成本最高,还要和模型权重争显存。
  • G2 主机内存:显存之外的高速扩展,但和单台服务器高度绑定,很快会遇到容量边界和跨节点共享问题。
  • G3 本地 NVMe SSD:大容量、低成本,但「本地」这个词同时是它的优势和局限——一旦发生请求迁移或 PD 分离,就会形成「缓存孤岛」。
  • G4 持久化共享存储:能大范围共享和持久化,但其设计目标本来围绕模型、数据集、Checkpoint,并非专为 KV Cache 的高频低延迟访问设计。

G3 和 G4 之间有一段明显的能力跨度。于是 2026 年出现了一个新的层级——面向推理上下文的共享存储层。

英伟达在 2026 年 1 月正式确立了 CMX(Context Memory Storage)平台,由 BlueField-4 DPU 管理,合作方包括 VAST Data、DDN、IBM、Nutanix、WEKA、Cloudian。这个层级补的正是 G3 和 G4 之间的那一段:更靠近计算、能跨节点共享、并针对 KV Cache 的访问特征做优化。

国内也有对应的工程化落地,比如有厂商发布了面向 KV Cache 的一体机产品,实现分层异构缓存架构,把 G1 到 G3.5 统一管理和调度。

收益是实打实的#

支持这套架构的数据不只有理论推演。

有一个被引用的实测配置:六节点 A3 Mega 集群,50,000 token 的 prompt、256 token 的问题、512 token 的输出,Llama-3.3-70B 推理,缓存命中率 95%。把共享的预填充 KV 缓存卸载到外部存储层后,TCO 节省超过 50%,GPU 小时需求减少近 60%。

在此基础上再把 CPU 内存整合进来,首字时延(TTFT)改善约 40%,端到端延迟降低 30%。

学术侧的仿真研究给出的数字更激进:在 GPU HBM、CPU DRAM 和 SSD 之间做分层,可以把单张 GPU 的并发会话数放大 73 倍、单会话成本降低 62 倍。但研究也专门说明:这个增益主要来自层级本身的容量倍数(1+8+64),不是调度策略的功劳。

这是一个很好的提醒——分层带来的容量扩张是结构性的,而策略优化带来的收益要小得多。

同一份研究还发现:在 batch=1 的解码阶段,因为计算受限,放置策略几乎不影响吞吐量,真正受影响的是 PCIe 迁移流量和首字时延。而在迁移策略上,最近使用(recency)在聊天场景最好,复用频率(reuse-frequency)在 Agent 和文档问答场景最好。

几种省显存的手段,要一起看#

KV Cache 的优化手段不是互斥的,生产系统越来越多地在叠加使用:

  • 架构层:分组查询注意力(GQA)、DeepSeek 的多头潜在注意力(MLA)。后者按其论文的数据,相比同类稠密架构可削减 KV Cache 90% 以上。
  • 精度层:FP8 KV Cache 量化。在内存受限的解码场景下,单 token 的 KV 成本最低可降到 BF16 的 54%;厂商文档显示可在 H100 上支持 2 到 3 倍更大的批大小。
  • 内存管理层:PagedAttention 把内存浪费从 60%–80% 降到 4% 以下。
  • 前缀缓存:多个请求共享系统提示词或文档前缀时命中缓存,可以跳过重复的 Prefill。在 Agent 工作流和知识库问答这类「同前缀高频」场景里,收益非常可观。

有一个质量层面的共识值得记下来:到 2026 年,只要量化方案选对,KV Cache 量化的质量损失可以控制在 0.5% 以内。 E4M3 在代码生成和数学推理上更好,E5M2 在长上下文和多语言上更强。

一个必须提的反面证据#

最后补一条容易被忽略的:广告宣称的上下文长度和实际可用的,不是一回事。

独立评测 RULER 发现,在 17 个被评估的长上下文模型中,只有约一半在 32,000 token 时表现可靠——而这些模型的宣称窗口最高到 1M token。有厂商在自己的文档里把这个现象命名为 「context rot」。

这对成本判断有直接影响:一个按 128K 或 1M 配置出来的 KV Cache,是一笔真实存在的、会计费的内存分配,无论模型是否真能用满这么多上下文。

几个可以往下看的问题#

第一,G3.5 这个新层级会不会成为标配。 它需要存储厂商、网络(DPU)和推理框架三方协同,目前是少数厂商在推。如果成为主流,AI 存储的产品形态会再变一轮。

第二,预取到底值不值。 上面的研究给了一个挺反直觉的结论:按推荐方式做预取,付不起它的带宽成本——在一个策略 × 缓存大小的网格里,即使是一个能预知未来的 oracle 策略,也没有在任何一格胜过「不预取」。

第三,缓存命中率是最关键的商业变量。 上面那组 50% TCO 节省的前提是 95% 的命中率。命中率掉到 70%,账要重算。而这个数字高度依赖业务形态。

第四,有效上下文什么时候能被标准化披露。 现在各家报的都是窗口上限。行业如果能形成「在 X token 下可靠率 Y%」的披露惯例,KV Cache 的容量规划才有意义。


参考来源

分享

如果这篇文章对你有帮助,欢迎分享给更多人!

KV Cache 正在变成一层存储
https://www.npuai.cn/posts/kv-cache-storage-tier/
作者
NPU AI
发布于
2026-09-21
许可协议
CC BY-NC-SA 4.0

部分信息可能已经过时

目录