从零构建扩散式语言模型技术指南

康奈尔大学 Kuleshov 课题组于 2026 年 7 月 5 日发布从零构建扩散式语言模型的技术指南，系统梳理了离散扩散机制与工程组件，为探索非自回归文本生成范式提供了清晰的理论与实践参考。

• 机制差异：传统自回归模型依序逐词单向生成且无法回溯修正，扩散语言模型则从全序列粗糙草稿起步，在多轮迭代中并行去噪，具备双向上下文感知与全局纠错能力。
• 掩码离散扩散：针对离散词元无法直接套用高斯连续噪声的问题，指南阐述了掩码扩散（Masked Diffusion）方案，通过随机遮蔽词元并训练双向 Transformer 还原，实现生成式建模。
• 关键技术演进：指南汇总了变长生成的块扩散技术、利用蒸馏算法压缩采样步数的方法，以及后训练与受控生成的实现路径。
• 性能与产业落地：根据 arXiv 论文（2024-06-11）记录的 MDLM 等成果，掩码扩散模型的困惑度已逐步逼近自回归基线，并被引入业界相关模型探索中。
• 影响/看点：扩散式架构可能为长文本并行生成与受控输出提供新解法，但能否在通用文本任务中规模化应用，取决于多步去噪带来的推理计算延迟能否通过蒸馏等加速手段有效压缩。
• 资料依据：
• Kuleshov Group（2026-07-05）：https://kuleshov-group.github.io/blog/blog/2026/how-to-build-a-diffusion-language-model/
• arXiv（2024-06-11）：https://arxiv.org/abs/2406.07524

本内容由 AI 生成，仅供参考，请注意甄别