JD 常写"熟悉 vLLM / SGLang / TensorRT-LLM 至少其一"。三者不是三选一的宗教问题,而是开源生态 vs 厂商深度优化的两条路线——先点场景看答案,再看对照表。
| 维度 | vLLM | SGLang | TensorRT-LLM |
|---|---|---|---|
| 出身 | 开源社区事实标准(PagedAttention 起家) | 开源,LMSYS 系(RadixAttention 起家) | NVIDIA 官方,闭源深度优化 |
| 杀手锏 | 生态最广、模型 Day-0 支持、周边最多(LMCache/llm-d) | 前缀缓存激进出色(Radix Tree)、调度激进、吞吐常领先 | 与 CUDA/驱动协同优化,延迟与单卡利用率天花板 |
| 短板 | 功能迭代快 → 稳定性要自己锁定版本 | 社区小于 vLLM;部分场景过于激进(驱逐策略) | 闭源、版本绑定 NVIDIA 栈、新模型支持滞后 |
| 量化/算子 | 社区量化方案齐全 | 同源社区方案 + 自研内核 | 原生 FP8/FP4 + 官方调优算子(NVIDIA JD 的"二次开发"多指这里) |
| 典型用户 | 大多数云厂商与创业公司 | Agent 重度、高并发多轮业务 | 追求极致 P99 的 NVIDIA 重度用户(金融/大厂推理专线) |
三个引擎上层设计各异,但都建在你已学过的同一套机制上——这正是"熟悉其一,理解其余"的底气:
面试话术:"我深入的是 vLLM 一套(说清楚 Scheduler+KV Manager 分层),SGLang 了解其 RadixAttention 与调度取舍,TRT-LLM 理解它和 CUDA 栈协同的定位——引擎会换,这层机制不会。"
Q1 · TensorRT-LLM 相对两个开源引擎的核心优势是?
Q2 · Agent 多轮对话业务最看重 SGLang 的哪项能力?
Q3 · "熟悉其一即可"的底层原因?