你写 y = x @ w + b 一行代码,GPU 上要跑成千上万个线程——中间的"翻译官"就是 AI 编译器。它决定了同一份模型在不同卡上快慢的很大一部分。
示意图:红色圆点 = 中间结果在显存里的往返。融合后中间值留在寄存器/共享内存(片上,第 5 课金字塔顶层),只做一次读入和一次写出。
收益量级:融合通常带来 1.3-3× 的层耗时下降(视算子与形状,行业常见口径),且省下的显存往返 = 更低的延迟抖动。
代价:首次运行要等编译(几十秒到几分钟);动态变化的输入形状会触发重编译——生产上要固定形状或做 warmup。SRE 视角:这解释了"容器启动后第一笔请求特别慢"的一类原因。
把模型的运算表示成"节点=算子、边=数据"的图,编译器的一切优化都发生在图上。
🧠 类比:CI 流水线的 DAG——先有图,才能调度优化。
把相邻的小算子合并成一个大 Kernel,中间数据留在片上——上图演示的核心优化。
🧠 类比:三次落盘合并成一次批量写。
同一个计算有多种 Kernel 写法(不同 tile/线程安排),编译器在真实硬件上实测挑最快的(Triton autotune / TVM / TensorRT)。
🧠 类比:参数搜索——对 Kernel 形状做 CARBS。
三大主流编译技术栈:XLA(Google)、MLIR(LLVM 系基础设施)、TVM(开源 AI 编译器)。PyTorch 的 Inductor 底层就是生成 Triton。
🧠 类比:GCC/LLVM 之于 CPU 代码。
Q1 · 算子融合省的是什么?
Q2 · torch.compile 之后"第一笔请求特别慢",最可能因为?
Q3 · 为什么 NPU(如昇腾)比 GPU 更依赖编译器?