月之暗面全栈开源 Kimi K3,2.8T 参数逼近闭源旗舰
月之暗面全栈开源Kimi K3,2.8T参数搭配新架构使算力密度提升2.5倍,推理内核、通信库、训练环境一并公开,性能逼近闭源旗舰。
AI 深度解读
月之暗面全栈开源了新一代模型 Kimi K3,一次性放出2.8万亿参数的权重和背后整套推理基础设施,把开源模型的能力门槛直接拉到了逼近闭源旗舰的水平。
- K3 是一个2.8T总参数、104B激活参数的MoE模型,原生支持100万token超长上下文窗口;
- 新架构KDA和AttnRes据称把单位算力的「智能密度」提升了2.5倍,长上下文场景下的解码速度提升达6倍;
- 除了模型权重,月之暗面还同步开源了高性能推理内核FlashKDA、MoE专用通信库,把工程侧的性能优化能力也一并交给了社区;
- 还开源了名为AgentENV的智能体训练环境,意味着开发者不仅能用K3做推理,还能在同一套体系里训练自己的智能体。
- 看点:这次开源不是单纯甩出一份模型权重,而是把「模型+推理内核+通信库+训练环境」的完整技术栈全部打开,大幅降低了其他团队复现或改进同等能力模型的门槛,是近期开源阵营对闭源旗舰发起的一次全方位追赶。
本内容由 AI 生成,仅供参考,请注意甄别