Artificial Analysis 推出 Cognition FrontierCode 1.1 编码评测榜单

Artificial Analysis于2026-10-12上线Cognition FrontierCode 1.1榜单，关注价值在于它把编码智能体的评测重点从“能否通过测试”延伸到“维护者是否愿意合并”。

• Cognition在2026-07-07发布的1.1方法中，继续使用真实开源仓库任务，并评估正确性、测试质量、范围控制和代码风格等维度。
• 1.1新增对合理与不当联网的区分，并用提示和验证器识别可能直接获取答案的运行记录。
• Cognition称其复核了1000多项阻断标准，将75项过严标准降为非阻断项，同时因噪声问题停用Diamond子集。
• 这使榜单更接近代码审查场景，但评分仍依赖Cognition设计的任务、标准和验证流程，跨榜单比较需要保持评测条件一致。
• 影响/看点：若维护者标准与实际工程审查保持一致，FrontierCode可能补充传统单元测试型榜单的盲区；其代表性仍取决于任务覆盖、评分一致性和对联网行为的处理方式。
• 资料依据:
• Artificial Analysis（2026-10-12）：https://artificialanalysis.ai/articles/frontiercode
• Cognition（2026-07-07）：https://cognition.com/blog/frontier-code-1.1
• Cognition FrontierCode Leaderboard（2026-10-12）：https://cognition.com/frontiercode

本内容由 AI 生成，仅供参考，请注意甄别