AI 负载把存储逼到墙角:训练读海量小文件、推理要 KV 分层、checkpoint 一次写几百 GB。三篇文章各答一个问题。
| 文章 | 回答的问题 | 一句话架构 |
|---|---|---|
| JuiceFS | POSIX 兼容的分布式文件系统怎么做"数据与元数据分离"? | 元数据引擎(Redis 等)+ 对象存储数据面;兼容性好,运维成熟 |
| DeepSeek 3FS | 为 AI 训练极致吞吐的文件系统长什么样? | CRAQ 强一致 + RDMA 全栈 + 分块并行,专为训练数据流设计 |
| NVIDIA ICMS | 推理侧 KV Cache 的存储层怎么建? | 面向推理上下文(KV)的多层存储架构,与 LMCache/HiCache 思想同源 |
海量小文件的 open/stat 才是训练数据加载的真瓶颈——所以"元数据独立扩容"成了标配设计。
🧠 类比:inode/目录项压力,不是带宽压力。
几十上百 GB 的周期性写突发,考验文件系统的突发吞吐与空间预留策略。
🧠 类比:备份窗口——写暴击要有余量。
KV Cache 的读写模式(追加写、按前缀读、按会话淘汰)与传统文件完全不同,催生了专用存储层。
🧠 对象存储/文件存储之外出现了第三种形态。
训练数据(读多写少、海量大文件)→ 3FS 类;通用挂载/共享 → JuiceFS 类;推理 KV → ICMS/HiCache 类。
🧠 别用一把锤子敲三种钉子。