← 返回课程目录 · 系列导读 · 云原生推理调度

LWS 与 llm-d 导读

多机多卡推理在 K8s 上的两块拼图:LWS 管"一组 Pod 怎么成组部署",llm-d 管"推理服务栈怎么分层"。各用一段 + 阅读入口。

一、LWS:给推理"复制组"一个原生抽象

Leader Pod(rank 0 · 协调)
Worker 1(rank 1)
Worker 2(rank 2)
Worker 3(rank 3)

TP=4 的推理服务:4 个 Pod 必须同生同死、知道彼此地址、共享生命周期——StatefulSet 太重、裸 Deployment 不管序号。LWS(LeaderWorkerSet)就是 K8s 生态为此定制的原生抽象:以"Leader+Workers"为一组单位扩缩容。你学过的 Gang 思想在这里落到"服务"而不是"训练作业"上。

二、llm-d:推理服务栈的分层参考

llm-d 的价值不在"又一个推理引擎",而在把推理服务拆成清晰的层:网关/路由 → 调度(前缀感知)→ 引擎池(vLLM 等)→ KV 分层存储。它把本课程多课的内容(Prefix Caching、KV 分层、PD 分离)组合成一份可部署的参考架构。

层对应课程知识
前缀感知路由Prefix Caching(第 3 课)——同前缀请求路由到已持有 KV 的实例
KV 分层第 5 课金字塔 + LMCache/HiCache 思想
引擎池vLLM/SGLang 实例组(LWS 成组管理)

三、上游阅读入口

LWS 介绍 —— 原理与多机推理实战
llm-d 介绍 —— 架构与集群规模选型