InfiniBand 与 RDMA
出了单机就是 IB 的天下:μs 级延迟、无损传输、内核旁路——多机训练"莫名变慢"的答案常在这里。
一、TCP vs RDMA:两种寄快递的方式
TCP:数据要往返内核协议栈,两端 CPU 都要参与拷贝和处理——CPU 又当搬运工又当登记员。
二、IB 关键词卡
RDMA 远程直接内存访问
直接读写对端内存,绕过对端 CPU 与内核——延迟 μs 级,CPU 几乎零参与。
🧠 快递直送对方仓库,不劳收发室签收。
InfiniBand vs RoCE
IB:专用网络(专用网卡+交换机),天生无损。RoCE:RDMA 跑在以太网上,便宜但依赖无损配置(PFC/ECN)。
🧠 专用高速路 vs 改造的普通高速路。
无损网络
IB 用信用机制保证不丢包;集合通信一丢包就重传,训练吞吐立刻崩——"无损"是多机训练的生命线。
🧠 视频会议丢包能忍,分布式训练丢包全体重传。
Subnet Manager 子网管理器
IB 网络的"控制面":给每个端口分配 LID、算路由。SM 挂了整个 IB 子网瘫痪。
🧠 类比 SDN 控制器:数据面再快,控制面断了全瞎。
三、健康检查最小集(运维视角)
# 端口状态与速率(LinkUp / 400 Gbps?)
ibstat
ibstatus
# 端到端连通与带宽(两台机器配对跑)
ib_write_bw -d mlx5_0 # 服务端
ib_write_bw -d mlx5_0 <对端IP> # 客户端
# 错误计数与 SM 状态(排障第一线索)
perfquery # 端口计数器:symbol error / link downed
sminfo # SM 是否在位
上游有完整的《IB 健康检查与性能监控实战》,按 L1/L2/L3 分层组织——右边延伸阅读直达。
四、小测验
Q1 · RDMA 最大的卖点是?
Q2 · IB 网络里 Subnet Manager 挂了会怎样?
Q3 · 多机训练"莫名变慢",为什么优先怀疑网络而不是算法?