HarnessDev 基准发布：评测大模型自建与进化智能体测试框架的能力

研究团队于 2026 年 9 月发布 HarnessDev 评测基准，将大语言模型的评估维度从单纯的任务输出拓展为可执行的基础设施构建与进化能力。

• 评测阶段划分：基准分为创建与进化两个阶段，前者要求智能体基于少量案例从初始种子搭建完整执行框架，后者测试其依据下游执行反馈迭代优化框架的能力。
• 测试覆盖维度：测试涵盖 6 个生成模型、4 个应用领域以及 5 个下游基准，总计包含 2207 个独立评测实例，从任务成功率与 Token 消耗效率两个维度量化。
• 评测结果与差距：在代码编写以及搜索研究领域，模型自建的框架表现明显落后于成熟的人工设计框架；在写作与机器学习实验任务中则接近或超过对比参考方案。
• 进化稳定性局限：实验表明通过下游反馈进行的框架进化提升并不稳定，在未见任务上的泛化能力有限，且框架性能高度依赖于实际执行该框架的后端模型。
• 影响/看点：该研究意味着智能体自动化构建与优化软件基础设施仍面临泛化瓶颈，未来实现可靠的自迭代系统可能需要更严密的跨模型验证机制与反馈闭环。
• 资料依据：
• arXiv（2026-09-02）：https://arxiv.org/abs/2609.01437
• Hugging Face Papers（2026-09-02）：https://huggingface.co/papers/2609.01437

本内容由 AI 生成，仅供参考，请注意甄别