论文提出生产级智能体低成本评测方法：仅用 38% 题目精准复现评分

一项针对生产级智能体评测成本的研究提出，仅使用基准测试中 38.5% 的题目即可精准复现完整评估评分，为高频智能体迭代提供了低成本验证方案。

• 研究基于 574 次历史基准运行记录，系统对比了随机采样、结果缓存、固定代表性子集以及基于项目反应理论的多维 2PL 自适应测试方法。
• 实验显示，按难度分层的固定代表性子集兼顾了实用性与精度，仅用 200 道题（占总量 38.5%）即可将评分误差控制在 1.03 分以内。
• 该难度分层子集展现出良好的跨模型迁移特性，无需重新校准即可直接应用于 5 个不同的智能体家族，且校准窗口压缩至 1 天仍保持稳定。
• 影响/看点：该方案为生产环境智能体的高频回归测试提供了经济可行的评估路径，若能在更复杂的长任务与多模态场景中验证其稳定性，可能有效降低开发团队的日常评测开销。
• 资料依据：
• X：Elvis Saravia（2026-09-24）：https://x.com/omarsar0/status/2102986414724096037
• arXiv（2026-09-24）：https://arxiv.org/abs/2609.15821

本内容由 AI 生成，仅供参考，请注意甄别