Moonshot AI开源MoonEP:面向MoE训练的均衡专家并行库

Moonshot AI(月之暗面)开源了MoonEP,一个专门解决MoE训练中“专家负载不均”的通信库,是支撑其K3万亿参数模型高效扩展的底层基建之一。

• MoE训练中路由器把token分给不同专家,但路由很少均衡,某些专家会被分到远超平均值的token量,论文用maxvio指标量化这种偏斜
• 负载不均的代价是结构性的:集合通信的延迟取决于最慢的那个rank,而且每步token数量都在变,动态形状会导致显存碎片化和跨层的主机端同步开销
• MoonEP的核心思路是“动态冗余专家”:不管路由多偏斜,每个rank始终保证收到恰好S×K个token,做法是在线规划少量冗余专家、提前预取,反向传播时再把梯度归约回原rank
• 配合CUTLASS CuTe DSL实现的低开销在线规划、以及零拷贝的融合permute与unpermute操作,MoonEP同时做到了完美负载均衡与静态可预测的显存形状,并以MIT协议开源
• 据称这一系列基建让K3(2.8万亿参数、原生视觉、百万token上下文)的扩展效率提升了2.5倍,对国内大模型团队在超大规模MoE训练上的工程选型有直接参考价值。

本内容由 AI 生成，仅供参考，请注意甄别