← 返回课程目录 · 第 10 课 / 共 14 课 · 建议用时 12 分钟

Transformer 拆解

第 7 课流程图里那个"Transformer × N 层"的黑盒,今天打开。里面只有两种积木:注意力(词互看)+ 前馈网络(各自加工),剩下的都是辅助件。

一、跟一个 token 走完一层

当前在第 – 层 / 共 32 层(以 7B 级模型为例)
输出概率分布:每个候选 token 的分数(第 7 课接龙用)
… 同样的结构重复 32 层 …
前馈网络 FFN:每个词独立过一个小 MLP
Add & LayerNorm:残留 + 归一化
自注意力 Self-Attention:句子里的词互相关注、交换信息
Add & LayerNorm:残留 + 归一化
Embedding + 位置编码:token 变向量,附上"座位号"
输入:"小猫 追着 球 跑"
点「下一步」,看"小猫"这个 token 怎么穿过一层。

二、注意力的核心:Q · K · V

Q 查询(Query)

当前词"想找什么信息"。"它"发出查询:我在找"我指代的对象"。

🧠 你去档案室问的问题。

K 钥匙(Key)

每个词挂着一块"我能提供什么"的标签。查询和钥匙对上了,注意力权重就高。

🧠 档案夹脊上的索引标签。

V 内容(Value)

对上了就取走这个词条正的内容,按权重混合进当前词的新表示。

🧠 档案夹里的正文。

多头注意力 = 上述过程并行做几十份,每份关注不同角度(语法/指代/语义…),最后拼接。算力视角:Q×K、A×V 全是矩阵乘法——第 1 课的"GPU 为什么重要"在这里兑现。

三、其余积木

FFN 前馈网络

注意力负责"传话",FFN 负责"消化":每个词独立过一个两层的 MLP。模型的"知识"大量储存在这里,参数量占大头。

🧠 注意力=开会沟通,FFN=各自回工位干活。

残差连接 + LayerNorm

每个子层的输出都加回输入(x + f(x)),再归一化——信息有高速公路直通,几十层也训得动。

🧠 默认保底链路 + 信号归一,深系统防雪崩的通用手法。

位置编码 / RoPE

注意力本身"不分先后",要把词序信息注入向量(现代主流是旋转位置编码 RoPE)。

🧠 给每个座位编号,不然"狗咬人"和"人咬狗"没区别。

因果掩码(Decoder-only)

生成式 LLM 只允许每个词看它前面的词(不然就是作弊偷看答案)。GPT/Llama/Qwen 都是这种 decoder-only 架构。

🧠 流式处理:只依赖已到达的数据。

四、小测验

Q1 · 注意力机制里,"查询-钥匙配对成功"意味着什么?

Q2 · 为什么必须加位置编码?

Q3 · 模型的"知识"主要储存在哪个组件?

延伸阅读(上游硬核版)