跳转至

Bidaw 精读报告(FAST'26)

论文:Bidaw: Enhancing Key-Value Caching for Interactive LLM Serving via Bidirectional Computation–Storage Awareness(胡世鹏、张广艳等,清华大学 + 中国地质大学(北京) + 中国电信全渠道运营中心),FAST'26,pp.101–116。

一、问题与动机

交互式多轮对话中,每轮回复需复用历史轮次 KV(图 1)。显存放不下,现有工作(CachedAttention [11]、FlashGen [19])把历史 KV 放入两层存储:性能层(主机内存)+ 容量层(SSD)。论文在自建「交互式对话 workload」(百万级对话轮,来自产业伙伴;平均 query 36 token、平均回复 45、平均/ P90 轮数 22/45)上量化:KV 从两层存储加载,响应延迟最高 3.8×、吞吐最低降到 1/2.0×(摘要、§1、§2.2 图 3)。吞吐按「相近平均延迟下可支撑用户数」计:FlashGen 4.62s vs 理想 4.58s 时,理想方案多支撑 2.0× 用户(p.103–104)。实验配置:A800 + OPT-13B + 200GB 主机内存 + 1.5GB/s SSD。

根因(§2.3):计算引擎与两层存储互相无感知。其一,计算侧调度不看 KV 加载时延:KV 大小差异极大(图 8:<100MB 到 >800MB)叠加两层带宽差,加载时间变异系数超 90%——即使同一 5s 窗口内到达的请求(图 7);长 KV 请求占住 GPU,后续短 KV 请求排队空转(severe request blocking)。其二,存储侧逐出只看自身排队历史,而多轮对话 KV 访问时间局部性极差:加权重用距离(相邻两次访问间其他 KV 的总量)80% 超过 200GB 性能层容量(图 6(a));并发缓存量可达性能层的 3.91×(图 5)。结果性能层平均只容纳 40.1% 的 KV,命中率约 20%,与 FIFO/LRU 相当(图 6(b))。动机层面另有:平均 22.4 轮/用户,冗余计算最高占总计算量 93.1%(§1)。

二、核心洞察:双向感知

论文认为单向优化到头了:计算侧无视 I/O 时延 → 请求阻塞;存储侧无视计算语义 → 低命中(20%)。必须双向:

  • 计算侧感知存储:调度器掌握每个请求 KV 的位置与大小,加载快的(性能层命中)进 ready queue 直接送 GPU,加载慢的进 preparing queue 预取,GPU 不被慢 I/O 卡住。
  • 存储侧感知计算:用 LLM 刚生成的回复长度预测该用户下次访问的加权重用距离——回复越长,用户读/听/理解再组织下一问的时间越长,重用距离越大。这是只有计算引擎才有、I/O trace 拿不到的语义信息(§1、§3.3)。

精读员注:双向各补对方盲区——存储缺「未来何时被访问」,计算缺「现在加载要多久」;单侧做的上限就是 CachedAttention/FlashGen 的现状。

三、系统设计

  1. 分层分离 + 按 KV 大小重排(§3.2):双队列。ready queue 用 FCFS 保公平;preparing queue 用 disk-HRRN,响应比 = 1 + 等待时间/KV 大小(式 1)——小 KV 优先发读、等待时间累积又防大 KV 饿死。提升到 ready queue 时按原始到达时间(非提升时刻)插入,避免尾延迟。GPU 满时跳过放不下的请求(沿用 [19])。代价:每请求维护 KV 位置/大小元数据。为什么必须预取而非 overlap:GPU 一轮 decode 只有首轮数十 ms 可遮盖 I/O,容量层 I/O 要数百 ms,重叠无效。
  2. 回复预测访问模式(§3.1 流程 3):eviction manager 后台捕获每用户最新模型回复,以长度预测下次访问的加权重用距离。
  3. 预测式逐出(§1):ghost cache 模拟「已知未来的最优逐出」结合过去 I/O trace,估计各重用距离的命中概率,逐出估计命中概率最低的 KV。代价:每用户维护回复记录与 ghost 元数据。
  4. 选择性缓存历史张量(§1、§3.1):推理产生的中间张量可互相转换且大小差异大,Bidaw 度量「每单位存储换回多少计算」并缓存最划算者;称对 MHA 模型通用,「GQA 模型缓存 MHA 形式更合适」(p.102;§4 以「每单位存储换回多少计算」的成本效率量化,评估中 tensor 6 达 51.0,远超其他)。代价:逐模型权衡。

工作流(图 9):到达→按 KV 位置/大小分队列→计算→回复交 eviction manager→性能层低于阈值按预测逐出;包容式缓存(容量层留副本)。

四、评估

  • 基线:state-of-the-art [11,19](CachedAttention、FlashGen);上限为「所有 KV 全在性能层」的模拟理想方案(图 3)。
  • workload/模型:五模型(OPT-6.7B/Qwen-7B/OPT-13B/Qwen-14B/OPT-30B)× 自建交互式对话 workload(A800 + 200GB 主机内存 + RAID-5 SSD 共 1.5GB/s)+ 公开多轮对话负载(ShareGPT)。
  • 数字(§5 全本):延迟最高降 3.58×、总口径较 vLLM 延迟降 83.9%、吞吐升 1.43–1.83×;尾延迟(OPT-30B)P90/P95/P99 较两基线降 47–67%;平均排队时间 5.76s→2.45s(−57%);调度开销 0.62ms/次、逐出 0.35ms。消融(OPT-30B):调度 1.58×、逐出再 1.25×、张量缓存再 1.10×,三机制独立贡献。

五、局限与适用边界

论文承认的:选择性缓存需按 MHA/GQA 分别权衡(p.102);包容式缓存使容量层写流量翻倍(§3.1);其分析强依赖「交互时间戳 + 用户级信息」——论文自己指出 ShareGPT(均 5.7 轮)与 Mooncake workload(12,035/343 token)或缺时间戳或缺用户信息(§2.2),即存储侧机制要求按用户归因请求的部署。

精读员注(我的发现):回复预测的失效场景——「回复越长→思考越久」是启发式:边流式读边打字、秒回追问、多会话并行、粘贴长文本为主的用户都会打破相关;非交互/批处理场景该信号消失。逐出预测靠过去 I/O trace 拟合,workload 漂移(热点切换)会失准(ghost cache 分桶是缓解,非消除)。评估主模型为 OPT 系列(MHA),全本已补充 Qwen-7B/14B(GQA);MLA 类未测。定位是单机内存+SSD,不含 GPU HBM 层与跨节点 KV 池;沿用 [19] 的 skip-if-doesn't-fit 准入对大 KV 请求仍有饿死风险。

六、关联

  • CachedAttention [11]/FlashGen [19]:直接基线。Bidaw 的根因分析即指出二者「计算-存储互盲」,并沿用 FlashGen 的包容缓存与跳过式准入。
  • Mooncake [36]:论文只引其 workload 统计(超长序列)并明确自身定位——无 RDMA 网卡、低成本本地部署的垂直行业场景;Mooncake 式 KV 池化分离架构与本方案的单机两层互补(架构对比为精读员注,正文未展开)。
  • 同会分工:SolidAttention(Zheng 等,SJTU)面向内存受限 AI PC 的单用户推理,以稀疏注意力 + 投机预取、粗粒度 KV 组织解决 SSD 访问(≤3.1× 提速、省 98% KV 内存);CacheSlide(Liu 等,SJTU 等)面向 Agent 工作流的跨位置 KV 复用(RPDC),解「重算 vs 复用」而非「分层加载」(3.11–4.3× 延迟、3.5–5.8× 吞吐)。三篇同在「KV×存储」轴:CacheSlide 消除计算、SolidAttention 压缩单请求 I/O、Bidaw 优化多用户服务端的分层调度与逐出——场景(服务器多用户 vs 端侧单用户)与机制(调度/逐出 vs 注意力算法 vs 位置对齐)均不同。另同会 AITURBO(Hao 等)从云存储 Grouped I/O API 层加速含 KVCache 读的 AI 作业,属 I/O 路径层互补。