在NVIDIA GB300 NVL72上创下MoE预训练世界纪录

NVIDIA GB300 NVL72在DeepSeek-V3 671B MoE模型预训练中创下世界纪录，每GPU达1648 TFLOPs。

• MoE模型使每Token计算量下降，通信成为扩展瓶颈，GB300 NVL72通过优化通信解决了这一挑战。
• 该纪录展示了从GPU、网络到系统软件的全栈协同进步。
• 结果证明，在千卡规模下，系统级设计比单芯片性能更重要。
• 影响/看点：这一纪录凸显了NVIDIA在MoE预训练领域的领先地位，为大规模AI训练树立了新标杆。

本内容由 AI 生成，仅供参考，请注意甄别