HarnessTax 研究：运行环境与控制机制对编码 Agent 的影响评估

加州大学伯克利分校与 Arena 研究者发布 HarnessTax 研究，比较编码模型与不同运行框架的组合表现，关注点在于：评测编码 Agent 时，不能只看模型名称，也要看工具、上下文和执行机制。

• 研究在 SWE-bench Lite 和 Terminal-Bench 2.0 上测试 7 个模型、3 个框架，共 21 组组合；每组使用 30 个任务并重复 3 次。
• 项目方称，同一模型在不同框架下的成功率差异通常较小，但成本可能相差数倍；例如部分 Claude Fable 5 测试中，Claude Code 成本约为 Pi 的两倍。
• 研究还指出，简化的开源 Pi 框架仅提供读取、写入、编辑和 Bash 等工具，在两个基准上也能接近成本—成功率前沿。
• 结果来自有限任务样本，且研究者明确提示，模型可能接触过这些公开基准，结论未必适用于真实开发、长周期协作或其他任务。
• 影响/看点：如果后续研究在更多任务和生产环境中得到重复，编码 Agent 的采购与评测可能从单一模型排名转向模型、框架、成本和可靠性的联合比较；前提是评测控制变量和任务覆盖足够稳定。
• 资料依据:
• HarnessTax GitHub 项目（2026-09-17）：https://raw.githubusercontent.com/HarnessTax/HarnessTax.github.io/main/data/blog/harness-x-model.3ae23648f3.json
• HarnessTax GitHub 仓库（2026-09-17）：https://github.com/HarnessTax/HarnessTax.github.io

本内容由 AI 生成，仅供参考，请注意甄别