Arena 深度剖析代码智能体表现：Fable 5.1 与 Astra 好评差评画像分析

评测机构 Arena 于 2026 年 9 月 21 日发布基于 20,840 条代码智能体轨迹与 29 个模型部署的深度分析，为评估真实编程场景中前沿模型的用户满意度与短板提供了实证依据。

• 研究覆盖 2026 年 8 月 1 日至 9 月 13 日期间采集的 20,840 条真实轨迹，通过 LLM-as-a-judge 机制将用户反馈归纳为 15 类核心驱动因素。
• 统计显示差评主要集中于代码执行失败（占比 69.1%）、生成内容不完整（占比 27.1%）以及交互易用性欠佳（占比 27.1%）。
• 报告对 Claude Fable 5.1 与 GPT-6 Astra 等主流部署展开好评与差评画像对比，细化了多步骤推理、上下文掌控及工具调用等维度的能力差异。
• 影响/看点：该画像意味着代码智能体的竞争重点正从单次代码补全率转向长程任务的容错率与完整交付能力，有望促使模型开发者针对高频报错环节优化智能体的自主纠错流程。
• 资料依据:
• Arena（2026-09-21）：https://x.com/arena/status/2102057216014717268
• Arena Official Blog（2026-09-21）：https://arena.ai/blog/code-agent-trajectories-analysis

本内容由 AI 生成，仅供参考，请注意甄别