月之暗面官方开源 Kimi K3：2.8T 参数 MoE 模型与技术报告

月之暗面官方发布Kimi K3技术报告，公布这款2.8万亿参数MoE模型的架构细节：原生支持视觉理解和百万token级超长上下文，并宣称新架构实现了单位算力2.5倍的智能提升。

• 模型定位为月之暗面目前最强产品，2.8T参数MoE结构，原生具备视觉理解能力，上下文窗口达1M token
• 官方强调新架构在「每单位计算的智能产出」上比前代提升2.5倍，即同等算力预算下换取更强能力，指向训练与推理效率的结构性优化，而非单纯堆参数
• 除模型权重外，同步开源了高性能注意力内核、MoE通信库，这类基础设施组件通常直接决定大模型训练和推理的实际效率
• 还开源了大规模智能体运行环境基础设施，为搭建长程Agent训练和评测系统提供现成工具链
• 相比单纯放出权重，月之暗面这次连同底层注意力内核、MoE通信库和Agent运行环境一起开源，等于把复现和优化K3所需的工程基础设施也交了出来，对国内自研MoE大模型和Agent基础设施团队是直接可用的参考实现。

本内容由 AI 生成，仅供参考，请注意甄别