← 返回课程目录 · 系列导读 · 推理引擎一

vLLM 一张图看懂

读完课程十课后,vLLM 的架构图应该已经"每一层都眼熟"。本页是导读:架构分层 + 上游系列文章的阅读顺序。

一、分层架构(学过的概念各就各位)

API Server 层OpenAI 兼容接口、请求路由
Scheduler 调度器Continuous Batching(加餐讲过)· token 级调度
KV Cache ManagerPagedAttention 分页(加餐讲过)· Prefix 复用
Model RunnerCUDA Graph(Decode 提速)· 并行策略 TP/PP(第 6 课)
GPU KernelFlashAttention / GEMM——第 1 课 Tensor Core 的主场

每一层都对应课程里的一课——这就是"先建直觉再读源码"路线的意义。

二、上游系列阅读顺序

CUDA Graphs 深度解析 —— Decode 为什么快
注意力机制演进 MHA→MLA→NSA —— 配套 PPT 有讲稿
gpu-memory-utilization 的谢幕 —— 显存从"估"到"测"
Router 架构 与 Semantic Router —— 多实例分流

三、运维向速记

场景第一反应
吞吐不达标查 batch 利用率与 KV Pool 占用(容量计算器口径),再查是否启用 prefix caching
显存 OOMmax-model-len / gpu-memory-utilization 两旋钮;长上下文查 KV 涨幅(第 3 课红线)
TTFT 抖动Chunked Prefill 是否开启;是否被长 prompt 的 prefill 阻塞 decode
启动慢权重加载占大头(FAST'26 论文:可达 79% 延迟)——查存储路径与页缓存