研究论文指出基准测试缺乏中立性：环境参数微调导致大模型排名大幅洗牌

论文《There Is No Neutral Harness》研究了基准测试配置对大模型排名的影响，论文于 2026 年 7 月 17 日发布，关注价值在于它把提示词、选项顺序和答案读取方式视为评测变量，而不是默认的技术细节。

• 研究让 12 个开源权重指令模型回答 ARC、HellaSwag、MMLU 和 TruthfulQA 的 3679 道题，并测试 26 种同样合理的评测配置。
• 配置变化包括选项排列、提示词措辞，以及从生成文本读取答案还是比较各选项的概率。
• 论文摘要称，模型得分会随配置变化明显波动，不同配置可能改变模型之间的相对排名；这说明排行榜测量的是模型与测试框架的组合。
• 研究进一步分析了单题层面的脆弱性，指出配置敏感题目可能承载相邻模型之间的大部分分差，聚合平均分因此容易掩盖具体来源。
• 这并不意味着所有基准都没有价值，而是说明跨模型比较需要公开完整 harness、随机种子、答案解析方式和配置敏感性分析。
• 影响/看点：该研究可能促使评测机构从公布单一分数转向报告配置区间和稳健性；其结论主要适用于论文覆盖的四类选择题基准，不能直接推断真实任务表现一定同样不稳定。
• 资料依据：V. S. Raghu Parupudi《There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items》（2026年7月17日） https://arxiv.org/abs/2608.21382；EleutherAI《lm-evaluation-harness》项目文档 https://github.com/EleutherAI/lm-evaluation-harness

本内容由 AI 生成，仅供参考，请注意甄别