SEED：面向智能体强化学习的自演化在线蒸馏

一篇新论文提出SEED框架，让智能体在强化学习训练中把已完成的轨迹自动转化为“事后经验技能”，再反哺回策略模型，缓解长任务奖励稀疏、监督不足的问题。

• 背景痛点：多轮工具调用、环境交互的长时任务里，基于结果的强化学习只有稀疏的轨迹级奖励，对中间决策指导有限
• SEED让策略模型自己分析已完成轨迹，提炼出可复用的自然语言“技能”，涵盖工作流、关键观察点或避坑经验
• 训练过程中当前策略既负责采集轨迹，也充当分析器提取技能，二者随策略更新同步进化，形成自我强化的闭环
• 通过在普通语境和技能增强语境下对动作重新打分，把技能带来的概率变化转成稠密的token级蒸馏信号，与结果强化学习联合优化
• 在文本类和视觉类智能体任务上的实验显示，SEED能稳定提升性能和样本效率，且对未见场景泛化较好
• 这种“从自身经验中提炼技能再反哺训练”的思路，为解决智能体强化学习中奖励稀疏问题提供了一条不依赖外部教师模型的新路径，代码已开源可供复现验证。