← 返回课程目录 · 系列导读 · KV 系统三兄弟

LMCache / Mooncake / Tair 一页通

当单机 KV 装不下、跨实例想复用,KV Cache 就从"引擎内组件"升级成"分布式系统"。三套方案一页分清。

一、共同的主线:KV 的存储层级

L1 GPU 显存最快 · 最贵
→
L2 主机内存μs 级 · 便宜
→
L3 SSD / 对象存储ms 级 · 海量
→
跨实例 RDMA 传输复用他机缓存

逐层降速换容量——第 5 课金字塔的 KV 版。区别只在:谁来管这个层级、以什么为中心调度。

二、三套方案定位对照

方案定位特色什么时候看它
LMCachevLLM 生态的 KV 中间件四层存储后端(CPU/磁盘/P2P/GDS)+ 控制面;CacheBlend 跨文档融合用 vLLM 想加跨实例 KV 复用
Mooncake以 KV 为中心的调度架构(月之暗面)KV Store 与调度器解耦,PD 分离的标杆设计研究"KV 即调度中心"的架构思想
Tair KVCache阿里云企业级 KV 管理系统中心化管理、大规模生产口径,附与 LMCache 的全面对比企业级选型与大规模部署参考

三、关键词卡

KV Offloading

显存不够时把冷 KV 换出到主机内存/SSD——引擎内原生支持 vs 外挂中间件是两条路线。

🧠 内存换页的推理版。

跨实例复用

同一份系统提示词/长文档的 KV 全集群只算一次——省的是"重算的电费",靠的是统一索引与高速传输。

🧠 CDN 思想:回源一次,边缘共享。

四、上游阅读顺序

  1. KV Cache 技术体系总览
  2. vLLM Offloading vs LMCache 对比 —— 两条路线的分水岭
  3. LMCache 架构概览(系列很长,按兴趣选后端源码篇)
  4. Mooncake 架构详解
  5. Tair KVCache 深度分析