[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"aihot-art-91877":3},{"itemId":4,"vertical":5,"category":6,"source":7,"score":8,"title":9,"summary":10,"analysis":11,"url":12,"coverUrl":13,"direction":13,"marketSignal":13,"publishedAt":14},"91877","ai","模型发布\u002F更新","宝玉",65,"月之暗面在 GTC 2026 披露 Kimi K2.5 技术路线：用 MuonClip、线性注意力与 Agent Swarm 重构三大基础组件","月之暗面在GTC 2026披露Kimi K2.5技术路线，用MuonClip优化器、线性注意力和Agent Swarm重构三大基础组件。","月之暗面在GTC 2026上披露Kimi K2.5技术路线，用MuonClip、线性注意力与Agent Swarm重构三大基础组件，全部开源，旨在逼近闭源模型前沿。\n· 用MuonClip替代Adam优化器，通过保持参数更新方向独立提高数据利用效率，实验表明同等数据量下效果接近数据翻倍，并设计QK-Clip解决数值失控问题，成功扩展到万亿参数。\n· 提出Kimi Linear（KDA线性注意力），将全注意力与线性注意力按3:1混合，不同通道使用不同遗忘速度，在短上下文、长输入和长输出任务上全面超越全注意力，百万Token级别效率优势显著。\n· 引入Agent Swarm智能体集群，主Agent拆解任务并行分配给子Agent，设计实例化、完成和最终结果三种动态权重奖励，将串行任务转为并行，大幅缩短复杂任务执行时间。\n· 额外分享视觉训练增强文本能力，以及下一代架构Attention Residue的进展。\n影响\u002F看点：月之暗面从优化器、注意力到多智能体协作全面革新，开源策略可能推动行业技术路线转向，尤其线性注意力和Agent Swarm为长上下文和复杂任务提供了实用方案。","https:\u002F\u002Fx.com\u002Fdotey\u002Fstatus\u002F2078172517085085951",null,"2026-07-18 01:38:33"]