[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"aihot-art-99674":3},{"itemId":4,"vertical":5,"category":6,"source":7,"score":8,"title":9,"summary":10,"analysis":11,"url":12,"coverUrl":13,"direction":13,"marketSignal":13,"publishedAt":14},"99674","ai","技巧与观点","Nathan Lambert",55,"知识蒸馏在 AI 后训练中影响力正在下降","知识蒸馏在 AI 后训练中的影响力下降，转向 SFT 阶段，开源模型成为更有效来源。","知识蒸馏在 AI 后训练中的影响力正在下降，其作用从 RL 阶段转向 SFT\u002F中期训练阶段。\n· SFT 蒸馏数据通常通过 API 获取推理 token 生成，规模约 100 万条高质量提示-完成对。\n· 蒸馏对最终模型性能的贡献比例正在缩小。\n· 随着 RL 规模化及多教师策略普及，最佳教师模型往往并非最前沿模型，开源模型因更易修改反而更有效。\n影响\u002F看点：蒸馏策略的演变，可能影响未来模型训练的效率和方法。","https:\u002F\u002Fx.com\u002Fnatolambert\u002Fstatus\u002F2079616308203942332",null,"2026-07-22 01:15:39"]