Perplexity 与英伟达提出 JOLT 自蒸馏后训练方法

Perplexity与英伟达研究人员在10月7日公开论文，提出JOLT联合在同一模型中训练“教师”和“学生”角色，用带额外信息的模型指导自身学习，关注价值在于降低后训练对独立教师模型和大量训练样本的依赖。

• 论文将JOLT定义为联合在策略学习与教学，教师通过带KL约束的目标学习，学生则从自身生成轨迹获得逐token监督。
• 这种设计针对结果奖励稀疏的问题：只在最终答案处获得反馈时，长链路任务往往需要更多试错和计算；逐token信号可能提高训练效率。
• 论文报告JOLT在数学、编程、工具使用和终端任务上改善训练效率与性能，JOLT+再加入学生结果奖励，但这些结论来自论文设定和基准测试。
• “少6.5倍训练token达到相当准确率”等指标应理解为特定实验条件下的比较，不能直接外推到不同模型规模、数据集或生产任务。
• 影响/看点：若后续研究在更多模型和任务上复现，JOLT可能减少高成本教师模型调用并改善后训练资源利用；成立条件是监督信号稳定、教师与学生能力差距可控，且基准收益能够转化为真实任务表现。\n资料依据:\n论文《A Good Self-Teacher Meets the Student Where They Are》（2026-10-07）：https://arxiv.org/abs/2610.10447\nPerplexity（2026-10-07）：https://www.perplexity.ai/en-GB/hub/blog/a-good-teacher-meets-the-student-where-they-are

本内容由 AI 生成，仅供参考，请注意甄别