第 7 课留下的五个"知道名字但没展开"的概念,一次补齐:Scaling Laws、思维链、幻觉、评估、模型文件格式。每个都带运维视角。
缩放定律回答一个问题:钱怎么花最值?三个旋钮——参数量、数据量、算力——按什么比例加,损失(loss)就按幂律稳定下降。
2023 年后主流开源模型普遍故意偏离 Chinchilla:用远多于"最优"的数据把小模型喂到超水平——因为训练一次性花钱,推理天天花钱。7B 干翻早期 175B,就是这条定律的工程化胜利。
🧠 类比:一次性研发投入换十年低运营成本。
原理直觉:生成的每个 token 都是一次计算——把中间步骤写出来,等于给了模型额外的"草稿纸算力"。这就是为什么推理模型(o1/R1 系)靠"想得更久"变强:推理时 Scaling(对应上游 Test-Time Scaling 文)。运维注意:思维链会显著拉长输出 token → TPOT 总耗时与成本上升,容量规划要按新口径。
| 成因层 | 机制 | 缓解手段 |
|---|---|---|
| 数据层 | 训练语料本身有错、互相矛盾 | 数据清洗(上游 70B 复盘的数据章) |
| 知识层 | 训练截止后的事、私有知识根本没见过 | RAG(第 8 课)——把"开卷"资料塞进上下文 |
| 解码层 | 概率采样天然可能"接得顺但不对" | 约束解码、引用校验、降低温度(第 7 课) |
核心认知(第 7 课):模型是概率接龙器,流畅 ≠ 正确。幻觉无法根除,只能用工程手段压到业务可接受。
| 评估方式 | 是什么 | 坑 |
|---|---|---|
| 静态 Benchmark | MMLU(知识)/ GSM8K(数学)/ HumanEval(代码)等固定题库 | 数据污染:题库泄露进训练集,分数虚高 |
| 竞技场对战 | 匿名两两对比、人类投票排名(Chatbot Arena 思路) | 偏"讨喜"回答,不代表任务能力 |
| LLM-as-Judge | 用一个强模型给回答打分 | 裁判自身的偏见与成本 |
| 业务自有集 | 自己场景的题目集(最可信) | 要持续维护、防泄露 |
| 格式 | 是什么 | 运维视角 |
|---|---|---|
| Safetensors | HuggingFace 默认,安全反序列化(不执行代码) | 训练/推理通用首选;无 pickle 注入风险 |
| GGUF | llama.cpp 系单文件格式,内含量化 | 端侧/Mac 本地跑(Ollama 底层)用它 |
| PyTorch .bin/.pth | 老式 pickle 序列化 | ⚠️ 反序列化可执行任意代码——来源不明别乱 load |
| ONNX | 跨框架中间表示 | 端侧部署/转 TensorRT 的中转站 |
Q1 · Chinchilla 定律说"最优数据配比约 20 token/参数",但现代开源模型普遍喂得更多,为什么?
Q2 · 思维链为什么能提升推理准确率?
Q3 · 从安全角度,优先选哪种模型文件格式?