当单机 KV 装不下、跨实例想复用,KV Cache 就从"引擎内组件"升级成"分布式系统"。三套方案一页分清。
逐层降速换容量——第 5 课金字塔的 KV 版。区别只在:谁来管这个层级、以什么为中心调度。
| 方案 | 定位 | 特色 | 什么时候看它 |
|---|---|---|---|
| LMCache | vLLM 生态的 KV 中间件 | 四层存储后端(CPU/磁盘/P2P/GDS)+ 控制面;CacheBlend 跨文档融合 | 用 vLLM 想加跨实例 KV 复用 |
| Mooncake | 以 KV 为中心的调度架构(月之暗面) | KV Store 与调度器解耦,PD 分离的标杆设计 | 研究"KV 即调度中心"的架构思想 |
| Tair KVCache | 阿里云企业级 KV 管理系统 | 中心化管理、大规模生产口径,附与 LMCache 的全面对比 | 企业级选型与大规模部署参考 |
显存不够时把冷 KV 换出到主机内存/SSD——引擎内原生支持 vs 外挂中间件是两条路线。
🧠 内存换页的推理版。
同一份系统提示词/长文档的 KV 全集群只算一次——省的是"重算的电费",靠的是统一索引与高速传输。
🧠 CDN 思想:回源一次,边缘共享。