月之暗面在 GTC 2026 披露 Kimi K2.5 技术路线：用 MuonClip、线性注意力与 Agent Swarm 重构三大基础组件

月之暗面在GTC 2026上披露Kimi K2.5技术路线，用MuonClip、线性注意力与Agent Swarm重构三大基础组件，全部开源，旨在逼近闭源模型前沿。

• 用MuonClip替代Adam优化器，通过保持参数更新方向独立提高数据利用效率，实验表明同等数据量下效果接近数据翻倍，并设计QK-Clip解决数值失控问题，成功扩展到万亿参数。
• 提出Kimi Linear（KDA线性注意力），将全注意力与线性注意力按3:1混合，不同通道使用不同遗忘速度，在短上下文、长输入和长输出任务上全面超越全注意力，百万Token级别效率优势显著。
• 引入Agent Swarm智能体集群，主Agent拆解任务并行分配给子Agent，设计实例化、完成和最终结果三种动态权重奖励，将串行任务转为并行，大幅缩短复杂任务执行时间。
• 额外分享视觉训练增强文本能力，以及下一代架构Attention Residue的进展。
• 影响/看点：月之暗面从优化器、注意力到多智能体协作全面革新，开源策略可能推动行业技术路线转向，尤其线性注意力和Agent Swarm为长上下文和复杂任务提供了实用方案。

本内容由 AI 生成，仅供参考，请注意甄别