拆掉神秘感:大语言模型只做一件事——看前文,猜下一个词的概率。前面学的 GPU、训练、推理,全都是为这一件事服务的。
温度是采样前的"抖动旋钮":T 越低分布越尖(保守、稳定),T 越高越平(发散、有创意)。拖到 0 再点几次——永远选"好",这就是贪心解码。
模型不认识"字",只认识 token。计费、上下文窗口、KV Cache 大小……全都按 token 数算——这就是为什么它成了 AI 经济的基本单位。估算口径:英文约 0.75 个单词 / token,中文 1 个字 ≈ 1 个 token 左右(随词表不同)。
每个 token 会被变成一串数字(向量),意思相近的词在坐标里就挨得近。模型的世界里没有文字,只有坐标。
这解释了两件事:① 为什么 RAG 能"按语义搜索"(算距离);② 为什么 Embedding 模型能单独拿去做推荐、聚类。
上图是二维示意;真实向量是几百到几千维。
处理"它"这个词时,注意力机制会回看全句,发现"它"最该关注"小猫"——连线越粗,关注越多。
每一层 Transformer 都在做这种"全词互看 + 加权汇总",几十层叠起来,模型就学会了语法、常识和推理。注意力的计算量随长度平方增长——这就是长上下文贵、KV Cache 重要的根源(第 3 课)。
对应关系:这一圈循环里,"Transformer × N 层"就是第 1 课 GPU 灌矩阵乘法的地方;训练(第 2 课)就是用海量文本把这个模型的几十一几千亿个参数调对;推理系统(第 3 课)就是把这一圈跑得又快又便宜。
模型一次能"看"的最大 token 数。超了就装不下(或要外挂记忆/RAG)。
🧠 类比:进程的工作内存上限。1M 窗口 ≈ 能一次读完一本长篇小说。
预训练(海量文本学接龙)→ SFT(用问答对学会"听话")→ RLHF/偏好对齐(学会更符合人类偏好)。
🧠 类比:先读书 → 再岗前培训 → 再按客户反馈调优。
模型在"接龙",接得顺不代表接得对——编造事实是概率生成的天然副作用。
🧠 类比:置信度被"流畅度"掩盖。缓解靠检索(RAG)、约束解码与人工校验。
参数 ≈ 模型的"旋钮"总数,越多越强也越吃显存。MoE 把参数拆成多个"专家",每个 token 只激活一小部分。
🧠 类比:从"一个全才"变成"呼叫中心按需转接专家"。
Q1 · LLM 生成文本的本质是?
Q2 · 把温度(temperature)调到接近 0,输出会怎样?
Q3 · 现代大模型训练三阶段的正确顺序是?