深度解析 Kimi K3：2.8 万亿参数开源 MoE 模型架构

MarkTechPost对Kimi K3做技术拆解，详解这款2.8万亿参数开源MoE模型如何用Kimi Delta Attention和百万级上下文实现效率与性能的双重突破。

• 两大架构创新：Kimi Delta Attention（KDA）优化序列长度维度的信息流动，百万token上下文下解码最高提速6.3倍；Attention Residuals（AttnRes）按深度选择性检索表征，训练效率提升约25%且额外成本低于2%
• 稀疏性设计是第三个关键杠杆，Stable LatentMoE让模型从896个专家中仅激活16个，配合Quantile Balancing按路由分数分位数动态分配专家，摆脱了启发式调参
• Per-Head Muon让各注意力头独立优化，SiTU和Gated MLA分别改善激活控制与注意力选择性，叠加数据配比优化，整体扩展效率较K2提升约2.5倍
• 部署上从SFT阶段就引入量化感知训练，采用MXFP4权重加MXFP8激活以兼容更广硬件，并向vLLM贡献了KDA的前缀缓存实现
• 月之暗面坦承K3综合表现仍落后于Claude Fable 5、GPT 5.6 Sol，但在自有评测集上持续跑赢同期测试模型
• 这篇拆解揭示了K3“又大又快”背后的具体工程取舍，对关注开源大模型架构设计和自部署推理成本的技术团队参考价值较高。