AgentHorizon 基准发现：LLM 判官难以识别长程电脑操作中的细微错误

X 帖称，ServiceNow 与麦吉尔大学研究者发布 AgentHorizon 基准，利用人工屏幕录制构造 1,373 个判官任务，并通过交换近似任务指令生成干净失败样本，关注点在于长程电脑操作的细微错误可能被 LLM 判官漏检。

• 基准聚焦连续多步的计算机使用任务，而非单轮问答。
• 失败样本经过受控构造，有助于区分模型执行错误与评测器误判。
• 现有摘要强调，即使为判官提供额外工具，细微错误识别仍可能不足。
• 这说明任务完成率与自动评测可靠性并非同一指标，尤其是在长轨迹中。
• 影响/看点：如果论文中的人工对照和误判统计能够在不同模型、任务类型与操作环境中复现，AgentHorizon 可能推动电脑使用智能体采用更细粒度的过程核验和人工抽检；其影响取决于基准覆盖范围及判官错误是否能代表真实部署场景。
• 资料依据:
• X：Rohan Paul（2026-10-14）：AgentHorizon 基准介绍 https://x.com/rohanpaul_ai/status/2110307766158180605
• 麦吉尔大学：Joelle Pineau 研究者主页（2026-10-14）：研究方向与论文信息 https://www.cs.mcgill.ca/~jpineau/

本内容由 AI 生成，仅供参考，请注意甄别