验证感知训练：提升推测解码效率的草稿模型训练方法

研究团队提出了名为 “验证感知训练”（Verification-Aware Training, VAT）的即插即用框架，旨在通过模拟推测解码的验证机制来优化草稿模型的训练目标。

• 传统草稿模型训练主要依赖逐标记模仿目标模型并配合固定位置衰减权重，未能反映推测解码中自首个被拒标记起丢弃后续所有标记的顺序验证特性。
• VAT 在训练过程中模拟推测验证过程，通过轻量级验证分类头预测标记能否通过顺序验证，并采用自适应加权机制将权重衰减起点锚定在首个被拒位置。
• 该方法仅修改训练目标函数，无需修改草稿模型架构、目标模型或推理流程，可直接叠加于 EAGLE-3 和 DFlash 等现有推测解码框架之上。
• 在 Qwen3-4B、Qwen3-8B 及 LLaMA-3.1-8B 上的评测显示，平均接受长度提升最高达 11.4%，端到端耗时加速比提升最高达 8.7%。
• 影响/看点：该方案为推测解码中的草稿模型提供了贴合推理阶段丢弃机制的训练优化路径，其实际加速收益取决于目标模型验证开销与不同下游任务生成特征的匹配程度。
• 资料依据：
• arXiv（2026-08-31）：https://arxiv.org/abs/2608.30135
• GitHub（2026-08-31）：https://github.com/naver-ai/vat

本内容由 AI 生成，仅供参考，请注意甄别