极简自蒸馏大幅提升代码生成能力
苹果团队提出无需验证器/教师模型的自蒸馏方法SSD，仅靠模型自身采样输出微调，把Qwen3-30B在LiveCodeBench上的pass@1从42.4%提升到55.3%。
AI 深度解读
苹果机器学习团队发布研究，证明大模型无需验证器、教师模型或强化学习，仅靠对自身输出做简单自蒸馏（SSD）就能显著提升代码生成能力。
- 方法极简：用特定温度和截断参数从模型自身采样多组解答，再用标准监督微调在这些自产样本上继续训练
- 在Qwen3-30B-Instruct上，SSD把LiveCodeBench v6的pass@1成绩从42.4%提升到55.3%，提升幅度可观
- 收益在难题上更集中，说明自蒸馏对模型“够不着”的复杂问题帮助更大，而非只刷简单题
- 该方法在Qwen和Llama系列4B、8B、30B等不同规模模型上均可复现，具备较好的泛化性
- 无需额外验证器或RL基础设施即可提升代码能力，为中小团队低成本改进自有模型提供了一条可复制路径，值得工程团队小规模试验验证。