第 7 课流程图里那个"Transformer × N 层"的黑盒,今天打开。里面只有两种积木:注意力(词互看)+ 前馈网络(各自加工),剩下的都是辅助件。
当前词"想找什么信息"。"它"发出查询:我在找"我指代的对象"。
🧠 你去档案室问的问题。
每个词挂着一块"我能提供什么"的标签。查询和钥匙对上了,注意力权重就高。
🧠 档案夹脊上的索引标签。
对上了就取走这个词条正的内容,按权重混合进当前词的新表示。
🧠 档案夹里的正文。
多头注意力 = 上述过程并行做几十份,每份关注不同角度(语法/指代/语义…),最后拼接。算力视角:Q×K、A×V 全是矩阵乘法——第 1 课的"GPU 为什么重要"在这里兑现。
注意力负责"传话",FFN 负责"消化":每个词独立过一个两层的 MLP。模型的"知识"大量储存在这里,参数量占大头。
🧠 注意力=开会沟通,FFN=各自回工位干活。
每个子层的输出都加回输入(x + f(x)),再归一化——信息有高速公路直通,几十层也训得动。
🧠 默认保底链路 + 信号归一,深系统防雪崩的通用手法。
注意力本身"不分先后",要把词序信息注入向量(现代主流是旋转位置编码 RoPE)。
🧠 给每个座位编号,不然"狗咬人"和"人咬狗"没区别。
生成式 LLM 只允许每个词看它前面的词(不然就是作弊偷看答案)。GPT/Llama/Qwen 都是这种 decoder-only 架构。
🧠 流式处理:只依赖已到达的数据。
Q1 · 注意力机制里,"查询-钥匙配对成功"意味着什么?
Q2 · 为什么必须加位置编码?
Q3 · 模型的"知识"主要储存在哪个组件?