LLM-as-a-Coach：面向非可验证任务的体验式学习

LLM-as-a-Coach提出体验式学习（EL），用高带宽文本反馈替代标量奖励，在非可验证任务上超越传统强化学习。

• 传统RL将基于评分标准的评估压缩为标量奖励，丢失了丰富的文本反馈，且混淆了不同质量水平的回答。EL将反馈模型从“裁判”转变为“教练”，将每次策略输出的评估提炼为可迁移的体验知识。
• 体验知识通过上下文蒸馏内化到策略中，相比标量奖励提供了更密集的监督，并保留了高质量回答间的细粒度偏好。
• 在两种策略族上，使用策略自身或专有模型的反馈，EL在保留和未见过的开放式任务上持续优于基于评分标准的RL。
• EL在训练分布外泛化更好，并缓解了奖励破解问题。
• 影响/看点：体验知识作为更丰富、更可泛化的学习信号，为后训练阶段处理非可验证任务提供了新范式，有望推动LLM在开放场景下的能力提升。

本内容由 AI 生成，仅供参考，请注意甄别