英伟达 Blackwell GB300 刷新 MoE 预训练纪录:每 GPU 算力 1648 TFLOPs
英伟达 Blackwell GB300 在 DeepSeek-v3 671B 模型预训练中创下每 GPU 1648 TFLOPs 的世界纪录。
AI 深度解读
英伟达 Blackwell GB300 刷新 MoE 预训练世界纪录,每 GPU 算力达 1648 TFLOPs,较上一代提升约 3 倍。
- 使用 256 块 GPU 预训练 DeepSeek-v3 671B 模型,实现每 GPU 1648 TFLOPs 吞吐量。
- 通过模拟 25 万种配置,发现 38 项优化,累计 140 万小时 GPU 测试。
- 相比 2025 年 11 月的 1088 TFLOPs 提升 50%,较 GB200 的 606 TFLOPs 提升约 3 倍。
- 用更少 GPU 达到相同性能,展示了硬件与软件协同优化的巨大潜力。
- 影响/看点:GB300 的纪录证明英伟达在 AI 训练效率上的持续领先,为大规模 MoE 模型训练树立新标杆。
本内容由 AI 生成,仅供参考,请注意甄别