多机多卡推理在 K8s 上的两块拼图:LWS 管"一组 Pod 怎么成组部署",llm-d 管"推理服务栈怎么分层"。各用一段 + 阅读入口。
TP=4 的推理服务:4 个 Pod 必须同生同死、知道彼此地址、共享生命周期——StatefulSet 太重、裸 Deployment 不管序号。LWS(LeaderWorkerSet)就是 K8s 生态为此定制的原生抽象:以"Leader+Workers"为一组单位扩缩容。你学过的 Gang 思想在这里落到"服务"而不是"训练作业"上。
llm-d 的价值不在"又一个推理引擎",而在把推理服务拆成清晰的层:网关/路由 → 调度(前缀感知)→ 引擎池(vLLM 等)→ KV 分层存储。它把本课程多课的内容(Prefix Caching、KV 分层、PD 分离)组合成一份可部署的参考架构。
| 层 | 对应课程知识 |
|---|---|
| 前缀感知路由 | Prefix Caching(第 3 课)——同前缀请求路由到已持有 KV 的实例 |
| KV 分层 | 第 5 课金字塔 + LMCache/HiCache 思想 |
| 引擎池 | vLLM/SGLang 实例组(LWS 成组管理) |