← 返回课程目录 · 系列导读 · 推理引擎二

SGLang 一张图看懂

与 vLLM 同级的开源推理引擎,招牌是 RadixAttention(前缀自动复用)与 aggressive 的调度策略。上游有一个非常完整的源码系列——本页给它配把钥匙。

一、它和 vLLM 的三个差异点

维度SGLang 的做法类比
前缀复用RadixAttention:前缀组织成基数树,命中即免算——跨请求、自动管理trie 结构的路由表:最长前缀匹配直接命中缓存
分层缓存HiCache 三级(显存 L1 / 主机内存 L2 / 对象存储 L3)+ HiRadixTree 索引CPU 多级缓存 + 页面换出,逐层降速
调度哲学prefill-first 主动驱逐 + Overlap Scheduling 双流水线宁可挤掉旧的也要先喂饱 prefill(TTFT 优先)

二、缓存层级一眼看懂

HiRadixTree 索引(一棵树管三层)控制面
└─L1 显存 KV Pool最快 · 容量小
   └─L2 主机内存换出层 · ~μs
      └─L3 对象存储 / 磁盘最慢 · 便宜大容量

命中路径自上而下逐层回搬——第 5 课延迟金字塔在这里变成工程事实。

三、上游系列阅读顺序

SGLang 内容索引 —— 系列总目录,先看这个
HiCache 深入详解 —— 上面那棵树的完整展开
调度器源码 —— PrefillAdder 五种准入预算与 retract 保护
Overlap Scheduling —— CPU/GPU 双流水线
可视化两件:推理流水线 · 调度器动画 —— 直接过过眼瘾