与 vLLM 同级的开源推理引擎,招牌是 RadixAttention(前缀自动复用)与 aggressive 的调度策略。上游有一个非常完整的源码系列——本页给它配把钥匙。
| 维度 | SGLang 的做法 | 类比 |
|---|---|---|
| 前缀复用 | RadixAttention:前缀组织成基数树,命中即免算——跨请求、自动管理 | trie 结构的路由表:最长前缀匹配直接命中缓存 |
| 分层缓存 | HiCache 三级(显存 L1 / 主机内存 L2 / 对象存储 L3)+ HiRadixTree 索引 | CPU 多级缓存 + 页面换出,逐层降速 |
| 调度哲学 | prefill-first 主动驱逐 + Overlap Scheduling 双流水线 | 宁可挤掉旧的也要先喂饱 prefill(TTFT 优先) |
命中路径自上而下逐层回搬——第 5 课延迟金字塔在这里变成工程事实。