Harness-Aware Distillation：面向小模型智能体的部署感知蒸馏框架

论文《Harness-Aware Distillation for Small Language Model Agents》提出面向部署环境的小模型智能体蒸馏方法，关注价值在于它把“模型能力”和“工具、上下文、反馈管理软件提供的能力”区分开来。

• 论文作者于2026年10月2日提交HAD方法，针对智能体部署中由harness管理上下文、工具和反馈的情况。
• 方法让同一教师模型分别在有无harness信息时生成动作，并将两者形成偏好信号，训练学生模型重点学习教师对环境状态的判断。
• 论文还设置有效性检查，过滤与harness记录相矛盾的偏好样本。
• 作者报告称，HAD不需要任务奖励、成功标签或未来信息，并在多个长程智能体基准和模型上优于所比较的在线蒸馏基线。
• 这些结果属于论文实验结论，能否迁移到不同工具链、任务分布和模型规模，取决于实验设置与部署环境是否相近。
• 影响/看点：该框架可能降低小模型重复学习工具层功能的负担，使蒸馏目标更贴近实际运行环境；其价值成立的前提是harness在训练和部署阶段保持足够稳定，且论文报告的基准优势能在独立复现实验中保留。
• 资料依据:
• arXiv（2026-10-02）：https://arxiv.org/abs/2610.02858
• X：Elvis Saravia（2026-10-06）：https://x.com/omarsar0/status/2107507684270600394

本内容由 AI 生成，仅供参考，请注意甄别