伯克利研究对比三大编程智能体：外围封装对成本影响远超准确率

加州大学伯克利分校 Sky Computing Lab 研究人员通过横向评测 Claude Code、Codex 和 Pi 三款编程智能体，系统量化了外围系统封装（harness）对执行成本与输出精度的实际影响。

• 研究指出模型外围系统所引入的额外开销在不同封装方案间差异显著，其对总调用成本的影响幅度明显高于对最终任务准确率的提升幅度。
• 实验通过对比三款智能体在相同基准下的执行链路，量化了上下文管理、工具调度及重试逻辑等外层机制所消耗的 Token 规模与推理延迟。
• 测试报告了三项关于封装策略与模型协同的非预期发现，为在有限算力预算下权衡智能体框架设计提供了实验参照。
• 影响/看点：这一研究意味着工程团队在构建实际编程智能体时，优化外围调度架构可能比单纯更换底层大模型更具成本效益，前提是任务场景具有明确的容错区间与结构化输入。
• 资料依据：
• X：Arena（2026-09-28）：https://x.com/arena/status/2104706256284065845
• UC Berkeley Sky Computing Lab（2026-09-28）：https://sky.cs.berkeley.edu/blog/coding-agents-harness-tax/

本内容由 AI 生成，仅供参考，请注意甄别