Epoch AI 启动基准审查计划：首批 15 个评测基准中 9 个存在缺陷

AI 研究机构 Epoch AI 宣布启动「基准审查」（Benchmark Reviews）计划，对人工智能领域广泛使用的评测基准开展独立质量审计，揭示当前评测工具普遍存在的质量差异问题。

• 审查方案依据构建效度、统计充分性、污染风险与人工可完成性等维度，将基准划分为 “已验证”（Verified）、“存在缺陷”（Flawed）与 “信息不足”（Not Enough Info）三种结论；为规避利益冲突，Epoch AI 不审计自身开发的基准。
• 判定为缺陷的主要依据是测试任务中超过 20% 存在影响准确性的错误、存在测试集污染或评分逻辑偏差。
• 首批审计的 15 个基准中仅 4 个通过验证，9 个被判定存在实质缺陷，另有 2 个因公开信息不足暂未得出结论；对于存在缺陷的基准，团队会发布简要审查报告并将发现同步给开发者以供修复。
• 该计划针对基准的具体版本进行评估，后续将跟踪基准更新并对行业内影响力较大的评测集展开常态化审查。
• 影响/看点：这意味着公开发布的基准分数可能受到测试集错误或评分偏差影响而偏离模型真实水准，若该计划能推动评测基准建立第三方审计与修正机制，有助于提升行业能力评测的客观性与透明度。
• 资料依据：
• X：Epoch AI（2026-09-17）：https://x.com/EpochAIResearch/status/2100704765332394255
• Epoch AI（2026-09-17）：https://epoch.ai/benchmarks

本内容由 AI 生成，仅供参考，请注意甄别