← 返回课程目录 · 加餐 · 成本与容量 · 汇总第 2/3/6 课

$/token 成本速算

把学过的东西换算成钱:一张 8 卡 H100 机器,每百万 token 的服务成本是多少?调杠杆看什么最能省钱。

一、算一算

60%
$/M token(服务成本)
–
月产出 token
–

口径:纯算力成本(电费/带宽/运维未计入),吞吐为行业常见量级的粗估,非实测。上游 推理成本分析 有基于 OpenRouter 的真实价格抓取。

二、拧哪个杠杆最省钱?

成本公式里只有三个变量:月租 ÷ (吞吐 × 利用率)。点下面三个优化手段,看它们各自拧哪个变量、典型能拧多少。

点一个手段看解释。

三、为什么"每 token 成本"是这个行业的第一性指标

价格战的锚点

API 定价即成本+毛利;四年 token 价格降了约百倍,靠的正是第 6/7 课那些架构与系统优化。

🧠 对应上游 12.2《AI Infra 入门讲座》的四层杠杆主线。

缓存命中是隐藏大杀器

Prefix Caching 命中时,输入 token 按折扣计费(部分厂商 1 折起)——Agent 多轮场景收益巨大。

🧠 类似 CDN 命中:不回源就几乎免费。

SRE 的翻译职责

把"SM Active 低/预留浪费/利用率 30%"翻译成"每月多烧 $X"——这是推动优化立项的最有效语言。

🧠 容量规划报告的最后一列永远是钱。

四、小测验

Q1 · $/M token 成本公式的三个变量?

Q2 · 利用率从 30% 提到 60%,成本怎么变?

Q3 · Agent 多轮对话场景,最划算的成本优化通常是?

延伸阅读(上游硬核版)