阶跃星辰 Step 5 Preview：600B MoE 开源模型在 GB300 上近 8K tokens/秒

阶跃星辰于 2026-10-15 转发 NVIDIA 对 Step 5 Preview 的介绍，称该模型为约 600B 参数的 MoE 开放权重模型，可处理最长 24 小时的智能体任务，并在 GB300 上以 NVFP4 达到接近每 GPU 每秒 8000 tokens，关注价值在于模型规模、长任务能力与专用硬件推理效率被放在同一发布中讨论。

• 600B 是 MoE 总参数规模，不能直接代表每次计算激活的参数量。
• 近 8000 tokens/秒属于特定 GB300、NVFP4 和测试配置下的指标。
• 发布信息还提到 NVFP4 checkpoint，并支持 SGLang、vLLM、NeMo Automodel 和 NVIDIA NIM。
• 单一硬件展示结果不能直接推导出普通服务器或其他芯片上的性能。
• 影响/看点：如果 checkpoint 和部署链路公开且指标可复现，超大模型服务的硬件选型会获得更明确参考；实际收益取决于量化精度、并发设置、功耗和完整成本。
• 资料依据:
• 阶跃星辰 StepFun 官方账号（2026-10-15）：https://x.com/StepFun_ai/status/2110732706518835353
• Hugging Face（2026-10-15）：https://huggingface.co/stepfun-ai/Step-5-Preview-NVFP4

本内容由 AI 生成，仅供参考，请注意甄别