Kimi K3 2.8T模型需GB300等大显存GPU部署
Kimi K3因2.8万亿参数规模过大,无法单机部署在B200上,需GB300 NVL72等大显存GPU系统运行。
AI 深度解读
半导体分析机构SemiAnalysis指出,月之暗面的Kimi K3虽然开源在即,但2.8万亿参数的体量意味着连英伟达最新的DGX B200都无法单机跑起来,揭示了「参数越大越强」背后被忽视的部署门槛。
- 即便压到FP4精度,Kimi K3也无法装进单台NVIDIA DGX B200,必须依赖GB300 NVL72、B300或MI355X等更高端系统
- 核心瓶颈是显存,这类系统单卡配备288GB显存,远超主流部署常见规格
- 一种折中方案是用WideEP技术把多个B200节点拼起来,但受限于节点间带宽仅400Gbit/s
- 相比之下NVL72的节点间带宽是B200组合方案的18倍,差距直接决定了推理效率的天花板
- 这说明「模型开源」和「能低成本部署」是两回事,普通团队拿到权重后未必用得起
- 对关注Kimi K3的团队来说,真正的门槛不在能否下载权重,而在能否负担GB300级别的硬件投入,这会让「开源即可复现」的预期打个折扣。