研究揭示智能体基准评测偏差：测试脚手架影响远超模型本身

DAIR.AI 创始人 Elvis Saravia 关注的一项最新学术研究指出，当前主流智能体基准测试排行榜（Leaderboard）的得分波动主要由评测脚手架（Harness）引起，其对成绩的影响显著超过模型底层能力本身。

• 实验对照：研究团队在严格控制变量的环境下测试发现，仅更换与模型交互的脚手架框架（涵盖提示词模板、工具调用协议、上下文截断与重试逻辑），GLM-5.1 模型的评测得分波动即达 13.0 分；而在固定脚手架的前提下更换模型，分数波动仅为 2.5 至 5.0 分。
• 方差分析：统计表明评测脚手架引入的方差是模型本身方差的 7.8 倍；在测试的 9 组模型对比中，有 6 组的模型排名因脚手架的更换而发生直接翻转。
• 行业启示：智能体排行榜的绝对高分可能更多反映了脚手架工程优化的适配度，而非模型通识推理能力的实质差距，当前基准测试在评估智能体真实能力时存在度量偏差。
• 影响/看点：这一发现可能促使学界与工业界重新审视 SWE-Bench 等智能体榜单的评测协议，未来建立标准化、解耦化的开源基准运行环境将成为客观衡量模型工程能力的关键前提。
• 资料依据：
• 1. DAIR.AI 创始人 Elvis Saravia 社交平台评述（2026年8月）：https://x.com/omarsar0/status/2092412718573899970

本内容由 AI 生成，仅供参考，请注意甄别