← 返回课程目录 · 加餐 · 引擎选型 · 承接 vLLM/SGLang 导读 · JD 高频

推理引擎三选一

JD 常写"熟悉 vLLM / SGLang / TensorRT-LLM 至少其一"。三者不是三选一的宗教问题,而是开源生态 vs 厂商深度优化的两条路线——先点场景看答案,再看对照表。

一、点你的场景,看推荐

点上面任意场景。

二、三引擎对照表

维度vLLMSGLangTensorRT-LLM
出身开源社区事实标准(PagedAttention 起家)开源,LMSYS 系(RadixAttention 起家)NVIDIA 官方,闭源深度优化
杀手锏生态最广、模型 Day-0 支持、周边最多(LMCache/llm-d)前缀缓存激进出色(Radix Tree)、调度激进、吞吐常领先与 CUDA/驱动协同优化,延迟与单卡利用率天花板
短板功能迭代快 → 稳定性要自己锁定版本社区小于 vLLM;部分场景过于激进(驱逐策略)闭源、版本绑定 NVIDIA 栈、新模型支持滞后
量化/算子社区量化方案齐全同源社区方案 + 自研内核原生 FP8/FP4 + 官方调优算子(NVIDIA JD 的"二次开发"多指这里)
典型用户大多数云厂商与创业公司Agent 重度、高并发多轮业务追求极致 P99 的 NVIDIA 重度用户(金融/大厂推理专线)

三、共同的地基(面试展开点)

三个引擎上层设计各异,但都建在你已学过的同一套机制上——这正是"熟悉其一,理解其余"的底气:

面试话术:"我深入的是 vLLM 一套(说清楚 Scheduler+KV Manager 分层),SGLang 了解其 RadixAttention 与调度取舍,TRT-LLM 理解它和 CUDA 栈协同的定位——引擎会换,这层机制不会。"

四、小测验

Q1 · TensorRT-LLM 相对两个开源引擎的核心优势是?

Q2 · Agent 多轮对话业务最看重 SGLang 的哪项能力?

Q3 · "熟悉其一即可"的底层原因?

延伸阅读