← 返回课程目录 · 加餐 · 集群网络 · 承接 NVLink 页

InfiniBand 与 RDMA

出了单机就是 IB 的天下:μs 级延迟、无损传输、内核旁路——多机训练"莫名变慢"的答案常在这里。

一、TCP vs RDMA:两种寄快递的方式

TCP:数据要往返内核协议栈,两端 CPU 都要参与拷贝和处理——CPU 又当搬运工又当登记员。

二、IB 关键词卡

RDMA 远程直接内存访问

直接读写对端内存,绕过对端 CPU 与内核——延迟 μs 级,CPU 几乎零参与。

🧠 快递直送对方仓库,不劳收发室签收。

InfiniBand vs RoCE

IB:专用网络(专用网卡+交换机),天生无损。RoCE:RDMA 跑在以太网上,便宜但依赖无损配置(PFC/ECN)。

🧠 专用高速路 vs 改造的普通高速路。

无损网络

IB 用信用机制保证不丢包;集合通信一丢包就重传,训练吞吐立刻崩——"无损"是多机训练的生命线。

🧠 视频会议丢包能忍,分布式训练丢包全体重传。

Subnet Manager 子网管理器

IB 网络的"控制面":给每个端口分配 LID、算路由。SM 挂了整个 IB 子网瘫痪。

🧠 类比 SDN 控制器:数据面再快,控制面断了全瞎。

三、健康检查最小集(运维视角)

# 端口状态与速率(LinkUp / 400 Gbps?)
ibstat
ibstatus
# 端到端连通与带宽(两台机器配对跑)
ib_write_bw -d mlx5_0  # 服务端
ib_write_bw -d mlx5_0 <对端IP>  # 客户端
# 错误计数与 SM 状态(排障第一线索)
perfquery  # 端口计数器:symbol error / link downed
sminfo  # SM 是否在位

上游有完整的《IB 健康检查与性能监控实战》,按 L1/L2/L3 分层组织——右边延伸阅读直达。

四、小测验

Q1 · RDMA 最大的卖点是?

Q2 · IB 网络里 Subnet Manager 挂了会怎样?

Q3 · 多机训练"莫名变慢",为什么优先怀疑网络而不是算法?

延伸阅读(上游硬核版)