月之暗面 300 人打造全球最大开源模型 K3

月之暗面(Kimi母公司)仅以300人的团队规模,在没有传统部门层级的组织结构下,做出了目前公开可见的最大规模开源模型之一——2.8万亿参数的K3,与OpenAI数千人的团队规模形成鲜明对比。

• K3 采用极端稀疏的MoE架构,共896个专家,每次推理仅激活其中16个,以此控制实际计算量
• 结合Delta Attention混合线性注意力机制,用于加速百万级token上下文的解码效率
• 团队使用自研优化器,进一步压低了训练与推理的算力消耗
• 对比口径显示,OpenAI团队规模约4500人且计划年底扩张至8000人,走的是硅谷式规模化路线,月之暗面则以精兵化组织追赶前沿
• 这一对比被业内视为两种组织哲学的正面碰撞——用规模堆算力和人力,还是用架构创新和组织效率换结果,月之暗面的路径至少证明了后者在开源模型这一战场上是可行的。

本内容由 AI 生成，仅供参考，请注意甄别