在线策略蒸馏真的有效吗？从噪声教师到自我改进

研究人员于 2026 年 8 月 31 日在 arXiv 发布论文，揭示在线策略蒸馏（OPD）的核心机制主要源于抑制尾部低概率词元而非依赖教师指导，并据此提出无监督的自我改进方法 OPSA。

• 教师监督的噪声解构：论文分析显示教师模型给出的评分存在随模型规模上升的噪声，但学生模型收敛表现对该噪声不敏感，使用单一固定负优势值即可复现 OPD 的训练收益。
• 作用机制与 OPSA 方法：研究证实蒸馏收益主要来自对低概率词元的抑制，因而提出基于熵自适应负优势的无监督方法 OPSA，在无需教师模型的情况下强化高熵位置的学习信号。
• 基准测试表现：在 Qwen3-1.7B 模型上的实验表明，OPSA 在 AIME24 基准上的 Avg@32 取得 35.41 分的提升，在多项测试集中的 Pass@32 指标提升超过一倍，表现优于传统 OPD。
• 影响/看点：该结论表明大语言模型在特定推理任务上的后训练可能摆脱高成本教师模型的依赖，前提是自适应抑制低概率词元的机制在不同架构与更宽泛任务中保持泛化稳定性。
• 资料依据：
• arXiv 论文（2026-08-31）：https://arxiv.org/abs/2608.31046
• HuggingFace Daily Papers（2026-08-31）：https://huggingface.co/papers/2608.31046

本内容由 AI 生成，仅供参考，请注意甄别