方法越多智能体越强？智能体强化学习中自蒸馏的现实检验

论文《More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning》对十种自蒸馏方法与 GRPO 进行统一比较，结论是方法增加并不必然带来稳定或成本更优的智能体性能。

• 研究覆盖 ALFWorld、ScienceWorld、Search-QA 和 WebShop，使用三种模型规模、132 次训练和约 12,124.4 个 H800 GPU 小时。
• 论文于 2026-10-14 提交，报告没有一种方法能在所有设置下持续超过 GRPO。
• 作者还观察到，较高的最终成绩可能掩盖训练过程不稳定，额外训练成本也不稳定地转化为性能提升。
• 这项研究的价值在于把最终分数、训练曲线、稳定性和计算成本放在同一比较框架中，减少直接搬用不同实验条件下基线分数造成的误判。
• 影响/看点：研究可能推动智能体强化学习从“方法数量”转向可复现实验和单位成本评估；结论能否推广，取决于任务集合、模型规模和实现细节是否覆盖更多生产场景。
• 资料依据:
• arXiv（2026-10-14）：https://arxiv.org/abs/2610.19789
• 项目页面（2026-10-14）：https://aim-uofa.github.io/Self-Distillation-AgentRL/

本内容由 AI 生成，仅供参考，请注意甄别