← 返回课程目录 · 加餐 · 06 章工程概念补全 · 承接第 7 课

LLM 工程概念补全

第 7 课留下的五个"知道名字但没展开"的概念,一次补齐:Scaling Laws、思维链、幻觉、评估、模型文件格式。每个都带运维视角。

一、Scaling Laws:大力真的能出奇迹吗

缩放定律回答一个问题:钱怎么花最值?三个旋钮——参数量、数据量、算力——按什么比例加,损失(loss)就按幂律稳定下降。

70B 参数参数量
1.4T token数据量
≈ 20 token/参数数据配比
结论:同等算力下训练出"最懂知识"的模型

为什么运维要懂它

2023 年后主流开源模型普遍故意偏离 Chinchilla:用远多于"最优"的数据把小模型喂到超水平——因为训练一次性花钱,推理天天花钱。7B 干翻早期 175B,就是这条定律的工程化胜利。

🧠 类比:一次性研发投入换十年低运营成本。

二、思维链(CoT):让模型"把草稿写出来"

直接问

Q:食堂原有 23 个苹果,用 20 个做午餐又买 6 个,再买 3 袋每袋 5 个,现在几个?
A:27 个 ✗(跳步心算出错)

思维链(一步步写)

同一个问题 + "让我们一步步思考"
23−20=3 → 3+6=9 → 9+3×5=24
A:24 个 ✓

原理直觉:生成的每个 token 都是一次计算——把中间步骤写出来,等于给了模型额外的"草稿纸算力"。这就是为什么推理模型(o1/R1 系)靠"想得更久"变强:推理时 Scaling(对应上游 Test-Time Scaling 文)。运维注意:思维链会显著拉长输出 token → TPOT 总耗时与成本上升,容量规划要按新口径。

三、幻觉:三层成因,三类缓解

成因层机制缓解手段
数据层训练语料本身有错、互相矛盾数据清洗(上游 70B 复盘的数据章)
知识层训练截止后的事、私有知识根本没见过RAG(第 8 课)——把"开卷"资料塞进上下文
解码层概率采样天然可能"接得顺但不对"约束解码、引用校验、降低温度(第 7 课)

核心认知(第 7 课):模型是概率接龙器,流畅 ≠ 正确。幻觉无法根除,只能用工程手段压到业务可接受。

四、评估:怎么知道模型变好还是变坏

评估方式是什么坑
静态 BenchmarkMMLU(知识)/ GSM8K(数学)/ HumanEval(代码)等固定题库数据污染:题库泄露进训练集,分数虚高
竞技场对战匿名两两对比、人类投票排名(Chatbot Arena 思路)偏"讨喜"回答,不代表任务能力
LLM-as-Judge用一个强模型给回答打分裁判自身的偏见与成本
业务自有集自己场景的题目集(最可信)要持续维护、防泄露

五、模型文件格式:下载时该拿哪个

格式是什么运维视角
SafetensorsHuggingFace 默认,安全反序列化(不执行代码)训练/推理通用首选;无 pickle 注入风险
GGUFllama.cpp 系单文件格式,内含量化端侧/Mac 本地跑(Ollama 底层)用它
PyTorch .bin/.pth老式 pickle 序列化⚠️ 反序列化可执行任意代码——来源不明别乱 load
ONNX跨框架中间表示端侧部署/转 TensorRT 的中转站

六、小测验

Q1 · Chinchilla 定律说"最优数据配比约 20 token/参数",但现代开源模型普遍喂得更多,为什么?

Q2 · 思维链为什么能提升推理准确率?

Q3 · 从安全角度,优先选哪种模型文件格式?

延伸阅读(上游硬核版)