把学过的东西换算成钱:一张 8 卡 H100 机器,每百万 token 的服务成本是多少?调杠杆看什么最能省钱。
口径:纯算力成本(电费/带宽/运维未计入),吞吐为行业常见量级的粗估,非实测。上游 推理成本分析 有基于 OpenRouter 的真实价格抓取。
成本公式里只有三个变量:月租 ÷ (吞吐 × 利用率)。点下面三个优化手段,看它们各自拧哪个变量、典型能拧多少。
API 定价即成本+毛利;四年 token 价格降了约百倍,靠的正是第 6/7 课那些架构与系统优化。
🧠 对应上游 12.2《AI Infra 入门讲座》的四层杠杆主线。
Prefix Caching 命中时,输入 token 按折扣计费(部分厂商 1 折起)——Agent 多轮场景收益巨大。
🧠 类似 CDN 命中:不回源就几乎免费。
把"SM Active 低/预留浪费/利用率 30%"翻译成"每月多烧 $X"——这是推动优化立项的最有效语言。
🧠 容量规划报告的最后一列永远是钱。
Q1 · $/M token 成本公式的三个变量?
Q2 · 利用率从 30% 提到 60%,成本怎么变?
Q3 · Agent 多轮对话场景,最划算的成本优化通常是?