← 返回课程目录 · 系列导读 · AI 存储线

JuiceFS / 3FS / ICMS 一页通

AI 负载把存储逼到墙角:训练读海量小文件、推理要 KV 分层、checkpoint 一次写几百 GB。三篇文章各答一个问题。

一、三篇各答什么问题

文章回答的问题一句话架构
JuiceFSPOSIX 兼容的分布式文件系统怎么做"数据与元数据分离"?元数据引擎(Redis 等)+ 对象存储数据面;兼容性好,运维成熟
DeepSeek 3FS为 AI 训练极致吞吐的文件系统长什么样?CRAQ 强一致 + RDMA 全栈 + 分块并行,专为训练数据流设计
NVIDIA ICMS推理侧 KV Cache 的存储层怎么建?面向推理上下文(KV)的多层存储架构,与 LMCache/HiCache 思想同源

二、关键词卡

元数据是瓶颈

海量小文件的 open/stat 才是训练数据加载的真瓶颈——所以"元数据独立扩容"成了标配设计。

🧠 类比:inode/目录项压力,不是带宽压力。

checkpoint 的一次性大写入

几十上百 GB 的周期性写突发,考验文件系统的突发吞吐与空间预留策略。

🧠 类比:备份窗口——写暴击要有余量。

KV 是新存储负载

KV Cache 的读写模式(追加写、按前缀读、按会话淘汰)与传统文件完全不同,催生了专用存储层。

🧠 对象存储/文件存储之外出现了第三种形态。

存储选型视角

训练数据(读多写少、海量大文件)→ 3FS 类;通用挂载/共享 → JuiceFS 类;推理 KV → ICMS/HiCache 类。

🧠 别用一把锤子敲三种钉子。

三、上游阅读入口