论文提出 Self-OPD：面向流匹配模型的无教师在线策略自蒸馏方法

2026年8月，研究人员提出面向流匹配（Flow Matching）模型的无教师在策略自蒸馏框架 Self-OPD，摆脱了对专用教师模型的依赖并消除了师生分布漂移问题。

• 传统在策略蒸馏需为每个新任务单独训练高成本教师模型，且师生分布差异容易在连续生成轨迹中引发复合误差。
• Self-OPD 将学生模型的确定性单步预测分支拓展为多个随机 SDE 候选路径，通过 ODE 采样器对比自参考基准的回报差异以计算归一化优势。
• 模型速度场基于全分支推拉机制进行优化，利用高优势分支拉引、低优势分支排斥并结合方差归一化，在奖励层面融合多目标评分以规避梯度冲突。
• 在单目标与混合奖励基准测试中，该方法在无需额外教师模型监督的情况下超越了先前的强化学习与教师蒸馏基线。
• 影响/看点：该方法降低了流匹配生成模型在多目标下游对齐时的算力消耗，其性能上限取决于复杂多约束目标下局部随机采样探索的收敛速度。
• 资料依据：arXiv 论文（https://arxiv.org/abs/2608.26872）、HuggingFace Daily Papers（https://arxiv.org/abs/2608.26872）。

本内容由 AI 生成，仅供参考，请注意甄别