← 返回课程目录 · 加餐 · 算子开发线入口 · 承接第 1 课 SIMT · 对应腾讯推理优化/算能/NVIDIA/SRIBD 岗

CUDA 算子开发入门

JD 里"自定义算子/PyTorch 扩展/二次开发"指向的就是这条路。第 1 课你已经懂 SIMT——现在把那个"写一份 SOP 复制一万份"的心智,落到第一个真正的 Kernel 上。

一、第一个 Kernel:向量加法

// C[i] = A[i] + B[i],一万个元素 __global__ void vecAdd(float* A, float* B, float* C, int n) { int i = blockIdx.x * blockDim.x + threadIdx.x; // 我是第几号线程? if (i < n) C[i] = A[i] + B[i]; // 每个线程只干自己那一格 } // 启动:分成 40 个块 × 每块 256 线程 = 10240 个"工人" vecAdd<<<40, 256>>>(dA, dB, dC, n);

高亮那行就是 CUDA 编程的心脏:全局线程编号 = 块号 × 块大小 + 块内线程号。写任何 Kernel 的第一步都是想清楚"这个线程该处理哪个数据"。

二、动手:点块里的线程,看编号怎么算出来

Grid(4 个 Block × 8 线程示意):
CUDA 的三层组织你其实早就见过(第 1 课):线程→Warp(32)→Block→Grid。点上面按钮,看"全局编号"怎么由 blockIdx 与 threadIdx 拼出来。

三、从向量加法到"JD 里的算子"有多远

① 会写 → 会算对

向量加法之后是规约(sum)、矩阵乘(共享内存分块)——学会"数据搬进共享内存复用",这是性能的分水岭。

🧠 对应第 5 课金字塔:L1 访问 vs HBM 访问差一个量级。

② 会算对 → 会算快

Tensor Core(WMMA/MMA 指令)、向量化访存、bank 冲突消除、occupancy 调优——用 Nsight 看"卡在算力还是带宽"。

🧠 对应指标体系页:SM Active/DRAM Active 就是算子健康度。

③ 接进框架

PyTorch 扩展(torch.utils.cpp_extension / 自定义 op)——让框架调用你的 Kernel,这就是 JD 说的"PyTorch 扩展机制"。

🧠 写好插件挂进 vLLM/SGLang,即"引擎二次开发"。

# PyTorch 扩展骨架(JD 高频考点,三行就有分) torch.utils.cpp_extension.load(name='my_op', sources=['my_op.cu']) # 编译并加载 y = my_op(x) # Python 侧直接调用你的 CUDA Kernel

四、学习路线(无 GPU 也能起步)

第 1 周 · 概念落地本页 + 上游GPU 编程入门/核心概念;无 GPU 可用 Google Colab / 云 GPU 按时租
第 2-3 周 · 手写经典向量加→规约→转置→共享内存版矩阵乘(对照 NVIDIA 官方 Samples 验证)
第 4 周 · 进高性能FlashAttention 思想(上游 02 章 TileLang 或 CUDA-Learn-Notes 200+ 内核,后者是算子岗面试的题库级仓库);JD 常把 Triton 与 CUDA 并列(用 Python 写 Kernel、门槛更低,见 AI 编译器页)
第 5 周+ · 框架接入PyTorch 扩展 + 给 vLLM 提一个小 PR(文档/小 fix 也算)——简历上"开源贡献"那一栏就有了
昇腾支线(SRIBD 岗)同一套思想换成 Ascend C:NPU 生态对照页 + 上游 02_npu 章 06 自定义算子

五、小测验

Q1 · Kernel 里计算全局线程编号的正确公式?

Q2 · 启动 <<<40, 256>>> 一共多少个线程?

Q3 · 共享内存版矩阵乘比朴素版快的本质原因?

延伸阅读