编码智能体测试环境与框架设计的实证研究

研究人员在 arXiv 发布论文《An Empirical Study of Harness Design for Coding Agents》，对编码智能体测试环境与执行框架（Harness）各组件设计进行了模块化解耦评测。

• 研究固定执行循环，针对规划机制、动作空间与上下文管理三个核心模块在 4 款模型上进行了 176 组对照实验，测试基准包括 SWE-Bench Verified 与 Terminal-Bench 2.1。
• 评测表明上下文管理在上下文窗口受限时价值显著，主要作用在于防止上下文溢出中断；先规则裁剪后模型总结的组合策略效率最高，而可恢复省略内容的复杂机制未带来准确率提升。
• 规划模块对较弱模型可作为准确率支架，对能力较强的模型则主要体现为降低 Token 消耗成本而非提升精度。
• 预设专用工具能弥补弱模型 Bash 能力不足，而 Bash 熟练度高的模型在纯 Bash 接口下成本更低且运行有效。
• 影响/看点：该研究为编码智能体框架设计提供了量化消融证据，意味着开发者可以根据基座模型能力梯度与 Token 预算针对性裁剪 Harness 复杂度。
• 资料依据:
• arXiv 论文库（2026-09-18）：https://arxiv.org/abs/2609.20804
• Hacker News 讨论（2026-09-18）：https://news.ycombinator.com/item?id=45293211

本内容由 AI 生成，仅供参考，请注意甄别