← 返回课程目录 · 新课 · 吸收自 ZOMI 酱 AISystem 03Compiler 与微软 AI-System 编译讲次

AI 编译器是怎么回事?

你写 y = x @ w + b 一行代码,GPU 上要跑成千上万个线程——中间的"翻译官"就是 AI 编译器。它决定了同一份模型在不同卡上快慢的很大一部分。

一、动手:算子融合前后

计算过程Conv → BN → ReLU(经典三连)

融合前:每个 Kernel 都要"把结果写回显存 → 下一个再从显存读回来"——中间结果在显存里打了三个来回。

示意图:红色圆点 = 中间结果在显存里的往返。融合后中间值留在寄存器/共享内存(片上,第 5 课金字塔顶层),只做一次读入和一次写出。

收益量级:融合通常带来 1.3-3× 的层耗时下降(视算子与形状,行业常见口径),且省下的显存往返 = 更低的延迟抖动。

二、翻译流水线:四个阶段

① 捕获计算图把 Python 代码变成图(TorchDynamo / tracing)
→
② 图优化算子融合、常量折叠、死代码消除
→
③ 算子选择用库(cuBLAS/CuDNN)还是生成专用 Kernel
→
④ 代码生成Triton / TVM 生成 Kernel 并自动调优
# 你唯一要做的事,可能就是这一行(PyTorch 2.x): model = torch.compile(model) # 默认策略 model = torch.compile(model, mode="max-autotune") # 更激进:编译更久,跑得更快

代价:首次运行要等编译(几十秒到几分钟);动态变化的输入形状会触发重编译——生产上要固定形状或做 warmup。SRE 视角:这解释了"容器启动后第一笔请求特别慢"的一类原因。

三、关键词卡

计算图

把模型的运算表示成"节点=算子、边=数据"的图,编译器的一切优化都发生在图上。

🧠 类比:CI 流水线的 DAG——先有图,才能调度优化。

算子融合

把相邻的小算子合并成一个大 Kernel,中间数据留在片上——上图演示的核心优化。

🧠 类比:三次落盘合并成一次批量写。

自动调优

同一个计算有多种 Kernel 写法(不同 tile/线程安排),编译器在真实硬件上实测挑最快的(Triton autotune / TVM / TensorRT)。

🧠 类比:参数搜索——对 Kernel 形状做 CARBS。

XLA / MLIR / TVM

三大主流编译技术栈:XLA(Google)、MLIR(LLVM 系基础设施)、TVM(开源 AI 编译器)。PyTorch 的 Inductor 底层就是生成 Triton。

🧠 类比:GCC/LLVM 之于 CPU 代码。

四、小测验

Q1 · 算子融合省的是什么?

Q2 · torch.compile 之后"第一笔请求特别慢",最可能因为?

Q3 · 为什么 NPU(如昇腾)比 GPU 更依赖编译器?

延伸阅读