CPU 是 4 位教授,GPU 是一支军队。为什么 AI 偏爱后者?——动手跑一次"赛跑"就懂了。
GPU 里的"大核"。一张 GPU 由几十到上百个 SM 组成,每个 SM 里塞了几百个更小的运算单元。
🧠 类比:SM ≈ CPU 的物理核,但一个"核"带一个连的兵。
H100 SXM 有 132 个 SM(厂商口径)
32 个线程组成的小队,同进同退:全队执行同一条指令,只是处理的数据不同(SIMT)。
🧠 类比:一个排 32 人,听同一个口令。队里有人"走岔路"(if 分支不同),全队就得等——这叫分支发散,是 GPU 性能杀手之一。
CUDA Core 是通用算术单元(加减乘除都会);Tensor Core 是专门做矩阵乘加的专用单元,一次算一小块。
🧠 类比:通用 CPU 指令 vs 专用加速指令(类似 AES-NI 之于加密)。
AI 的算力主要来自 Tensor Core
GPU 专属的"内存条",和 GPU 封装在一起,容量几十 GB。
🧠 类比:相当于给 GPU 单独配的 DIMM。模型权重、KV Cache 都住在这里(第 3 课展开)。
H100:80GB HBM3(厂商口径)
数据从显存搬到计算单元的速度,决定"喂得饱不饱"。
🧠 类比:内存带宽的数十倍。很多场景 GPU 不是算不动,而是搬不动——排查瓶颈时要先分清这两者。
H100:约 3.35 TB/s(≈ DDR5 单通道的几十倍)
程序员只写"一个线程该干什么",硬件自动复制给成千上万个线程同时执行。
🧠 类比:写一份 SOP,让全公司照着执行,而不是给每个人单独写指令。
Q1 · 一个 Warp 里有多少个线程?
Q2 · 下面哪种任务,GPU 相对 CPU 的优势最小?
Q3 · nvidia-smi 显示 GPU-Util 90%,能说明算力真的被用满了吗?