← 返回课程目录 · 第 1 课 / 共 14 课 · 建议用时 10 分钟

GPU 是什么?

CPU 是 4 位教授,GPU 是一支军队。为什么 AI 偏爱后者?——动手跑一次"赛跑"就懂了。

一、动手:CPU vs GPU 赛跑

选择任务类型,点「开始」

CPU —— 4 位教授

核少、每核很强,擅长复杂逻辑
进度 0% · 耗时 0.0s

GPU —— 128 个小学生

核多、每核简单,擅长重复劳动
进度 0% · 耗时 0.0s
任务 A 是"各自算各的"(并行);任务 B 是"每一步都要等上一步"(串行)。先跑 A 看看。

二、为什么 AI 非用 GPU 不可

神经网络的本质是海量的矩阵乘法:把数据乘上几百万到几千亿个权重再求和。这些乘加运算互相独立、长得一模一样——正是任务 A 那种"给 512 个像素各调一次亮度"的活。 训练一个大模型 = 重复几十万次"前向计算 → 反向求导",每一步里 95% 以上的时间都在做矩阵乘法。所以 AI 加速器的设计目标只有一个:用几万个简单核心,把矩阵乘法灌满。

三、六个关键词(带 SRE 记忆锚点)

SM(流式多处理器)

GPU 里的"大核"。一张 GPU 由几十到上百个 SM 组成,每个 SM 里塞了几百个更小的运算单元。

🧠 类比:SM ≈ CPU 的物理核,但一个"核"带一个连的兵。

H100 SXM 有 132 个 SM(厂商口径)

Warp(线程束)

32 个线程组成的小队,同进同退:全队执行同一条指令,只是处理的数据不同(SIMT)。

🧠 类比:一个排 32 人,听同一个口令。队里有人"走岔路"(if 分支不同),全队就得等——这叫分支发散,是 GPU 性能杀手之一。

CUDA Core vs Tensor Core

CUDA Core 是通用算术单元(加减乘除都会);Tensor Core 是专门做矩阵乘加的专用单元,一次算一小块。

🧠 类比:通用 CPU 指令 vs 专用加速指令(类似 AES-NI 之于加密)。

AI 的算力主要来自 Tensor Core

HBM(高带宽显存)

GPU 专属的"内存条",和 GPU 封装在一起,容量几十 GB。

🧠 类比:相当于给 GPU 单独配的 DIMM。模型权重、KV Cache 都住在这里(第 3 课展开)。

H100:80GB HBM3(厂商口径)

显存带宽

数据从显存搬到计算单元的速度,决定"喂得饱不饱"。

🧠 类比:内存带宽的数十倍。很多场景 GPU 不是算不动,而是搬不动——排查瓶颈时要先分清这两者。

H100:约 3.35 TB/s(≈ DDR5 单通道的几十倍)

SIMT 编程模型

程序员只写"一个线程该干什么",硬件自动复制给成千上万个线程同时执行。

🧠 类比:写一份 SOP,让全公司照着执行,而不是给每个人单独写指令。

四、小测验

Q1 · 一个 Warp 里有多少个线程?

Q2 · 下面哪种任务,GPU 相对 CPU 的优势最小?

Q3 · nvidia-smi 显示 GPU-Util 90%,能说明算力真的被用满了吗?

延伸阅读(本仓库硬核版)