← 返回课程目录
· 系列导读 · 训练复盘
70B 从零训练复盘导读
Imbue 公开的 70B 从零训练四部曲,是公开资料里少有的"全生命周期复盘"。本页给路线图与运维视角的看点。
一、四部曲各讲什么
基础设施
裸金属搭建、网络、存储与自动化脚本——
SRE 主场
:从 0 到"能开训"的所有坑
数据
开源数据集清洗、配比与评估方法——数据质量决定模型下限
训练本体
训练流程、监控、checkpoint 策略与事故处理
超参
CARBS 超参优化器:把"调参"变成搜索问题
二、运维向的四个看点
自动化脚本覆盖"裸金属 → 可训练"的全流程——和你的 IaC/Playbook 思路同构,值得对照学习
checkpoint 的频率与恢复演练是训练 SRE 的核心 KPI(第 2 课讲过:崩了续训靠它)
评估数据集要先于模型准备好——"训完才发现没法评估"是常见事故
监控不只看 loss:吞吐、MFU、通信占比、坏卡检测共同构成训练可观测
三、上游原文
From bare metal to a 70B model: infrastructure
Sanitized open-source datasets: how we evaluated
Training a 70B model from scratch
Open-sourcing CARBS
进阶:上游
RL 后训练的系统约束
(推理引擎与训练框架的对齐问题)
← 上一页:存储三篇导读
下一页:TPU / GPGPU / NPU 对比 →