知识蒸馏在 AI 后训练中影响力正在下降

知识蒸馏在 AI 后训练中的影响力正在下降，其作用从 RL 阶段转向 SFT/中期训练阶段。

• SFT 蒸馏数据通常通过 API 获取推理 token 生成，规模约 100 万条高质量提示-完成对。
• 蒸馏对最终模型性能的贡献比例正在缩小。
• 随着 RL 规模化及多教师策略普及，最佳教师模型往往并非最前沿模型，开源模型因更易修改反而更有效。
• 影响/看点：蒸馏策略的演变，可能影响未来模型训练的效率和方法。

本内容由 AI 生成，仅供参考，请注意甄别