Kimi K3 开源权重模型:中国最大AI押注记忆而非算力
Moonshot AI发布2.8万亿参数开源模型Kimi K3,为迄今最大开源模型,侧重记忆而非算力。
AI 深度解读
Kimi K3 以 2.8 万亿参数成为最大开源权重模型,但其真正创新在于用记忆换算力,为中国 AI 在芯片限制下开辟新路径。
- Kimi K3 参数规模达 2.8 万亿,远超 DeepSeek V4 Pro 的 1.6 万亿,但参数并非其核心亮点。
- 模型采用混合专家架构,每次推理仅激活 896 个专家中的 16 个(约 1.8%),大幅降低计算量。
- 然而,所有参数仍需常驻内存,导致内存需求不降反升;Moonshot 通过 4 比特量化训练将内存占用压缩至传统 16 比特的 1/4。
- 这一设计本质是“用内存换算力”,在芯片出口管制下,内存比算力更容易获取,体现了中国 AI 的务实策略。
- 影响/看点:K3 证明,在算力受限环境下,通过架构创新和内存优化同样能实现顶尖性能,可能重塑全球 AI 硬件投资逻辑。
本内容由 AI 生成,仅供参考,请注意甄别