利用英伟达 Transformer Engine 加速 JAX 下 Dropless MoE 模型训练

英伟达于2026年9月14日公布了在JAX框架下利用Transformer Engine加速Dropless MoE模型训练的技术方案，为解决超大稀疏模型的动态计算瓶颈提供了工程参考。

• 传统容量限制型MoE常通过丢弃token或填充占位来维持张量规则，而Dropless MoE保留全部token，但会导致不可预测的非规则张量与计算负载失衡。
• 英伟达在Transformer Engine中引入了组感知MXFP8量化与分组GEMM内核，使GPU能在单一调用内高效处理各专家变长的token分布。
• 方案配合NCCL专家并行通信扩展，融合了分发与聚合阶段并实现token去重，在GB200平台上将DeepSeek-V3训练吞吐由初始未优化的103 TFLOPS/GPU提升至1068 TFLOPS/GPU。
• 整体架构在GB300 NVL72集群扩展至1024块GPU时，仍能保持97%的扩展效率。
• 影响/看点：该方案意味着在JAX生态中训练大参数量MoE模型时的通信与算力浪费可被有效压缩，其实际提速收益取决于硬件互联带宽以及模型路由算法对各专家的负载均衡程度。
• 资料依据：
• NVIDIA Technical Blog（2026-09-14）：https://developer.nvidia.com/blog/accelerating-dropless-moe-training-in-jax-with-nvidia-transformer-engine/

本内容由 AI 生成，仅供参考，请注意甄别