任务完成能否稳定复现？IBM与Hugging Face联合探讨智能体行为一致性评估

IBM 研究院（IBM Research）于 2026 年 9 月 15 日在 Hugging Face 博客发文，探讨智能体在多轮重复任务中的行为一致性问题，并推出针对决策分歧点的评估与优化机制。

• 研究指出传统平均准确率（Mean@k）掩盖了智能体的稳定性问题，例如基于 GPT-4.1 的 ReAct 智能体在 AppWorld 上平均成功率为 77.4%，但在连续 5 次测试中均成功的任务比例仅为 53.0%，存在 24.4 个百分点的一致性差距。
• 提出了 Consistency Analyzer 诊断工具，无需标准答案，仅凭单条运行轨迹即可在关键决策点重采样 k 次输出，用以识别容易发生偏离的决策节点。
• 将诊断结果转化为一致性指导原则并注入 ALTK-Evolve 系统，在不降低平均准确率的前提下将一致性差距从 24.4 个百分点压缩至 12.0 个百分点。
• 在同任务 5 次连续通过率（Pass⁵）上提升了 16.0 个百分点，在相似任务上提升了 13.0 个百分点。
• 影响/看点：该研究意味着智能体评测正从关注单次或平均成功率转向对高可靠性与复现性的多轮稳定性评估，对于金融对账、合同审查等容错率极低的生产业务部署具有明确的参考价值。
• 资料依据：
• Hugging Face Blog（2026-09-15）：https://huggingface.co/blog/ibm-research/altk-evolve-consistency

本内容由 AI 生成，仅供参考，请注意甄别