← 返回课程目录 · 系列导读 · 杂项与上手

99 杂项章导读

99 章里藏着"从学到做"的入口:本地跑模型、Ollama 架构、书单。本页把其中能直接上手的排成三张任务卡——按你的节奏做。

一、三张上手任务卡(无 GPU 也能做)

卡 1 · 在 Mac 上跑一个 7B 模型
目标:亲眼看 TTFT 和 TPOT(第 3 课的两个指标)。装 Ollama,跑 qwen2.5:7b,用 --verbose 观察每次生成的耗时构成。
brew install ollama ollama run qwen2.5:7b --verbose # 关注: total duration / prompt eval / eval rate
卡 2 · 用 Tiktokenizer 建立数字感
目标:token 数量直觉(第 7 课)。打开 tiktokenizer.vercel.app,粘一段中文/英文/代码,记下"1 段落 ≈ 多少 token",再对照 API 定价心算一遍成本。
tiktokenizer.vercel.app/?model=gpt-4o # 练习:估算"一份 10 页文档进上下文 # 每天问 100 次"的月成本
卡 3 · 读一遍 nvidia-smi 全量输出
目标:把加餐速查变成肌肉记忆。有 GPU 机器最好;没有就用上游文档里的输出示例逐字段读懂,再对照排障模拟器复盘。
nvidia-smi -q | head -80 # 逐字段:Persistence / ECC / Remapped # Rows / Temp / Pwr / Clocks

二、99 章其他内容