全球首个 Agentic 扩散模型发布：边行动边纠错，128K 上下文追平自回归

蚂蚁inclusionAI团队开源千亿参数MoE扩散语言模型LLaDA2.2，首次让扩散架构在长程Agent任务上追平自回归模型，原生支持128K上下文，号称全球首个大规模Agentic扩散模型。

• 核心是Levenshtein编辑范式：模型生成时可对已产出的Token做保留、替换、删除、插入四种操作，打破了以往扩散模型「生成即定型、错了只能整段重来」的结构刚性，仅这一项改动就把SWE-bench Verified成绩从35.8提升到44.4
• 配套提出L-EBPO强化学习方法，让模型能依据环境反馈自主决定何时删除错误片段、何时插入缺失内容，缓解长程交互中「早期小偏差被逐步放大」的模型崩溃问题
• 通过渐进式训练把原生上下文窗口从8K逐步扩展到128K，追平主流自回归Agent模型的上下文规格
• 针对长上下文MoE推理成本暴涨的问题，提出BlockRouting机制：先在block层面筛出固定专家池，再做块内Token级路由，控制HBM流量和通信开销
• 这是蚂蚁LLaDA系列半年内的第三代产品，从2.0的规模化验证、2.1的边写边改，演进到2.2的完整Agent能力
• 长期被视为自回归陪跑的扩散架构，第一次在真实Agent任务链路上拿出可比数据，若七大Agent基准的完整结果站得住，扩散路线有机会成为Agent底座的第二种选择，值得持续跟进开源代码和后续复测。

本内容由 AI 生成，仅供参考，请注意甄别