CRBugBench 评测代码审查 Agent：最佳模型检出 71.9% 已知漏洞

卡内基梅隆大学与微软研究人员在2026-10-09提交的论文中提出 CRBugBench，用1800项代码审查任务评估审查 Agent 对已被人工确认漏洞的检出能力，关注价值在于它把“代码审查是否有效”转化为可比较的基准问题。

• 论文原文称，基准包含98个开源 GitHub 仓库的1000项任务，以及一家大型企业私有仓库的800项任务，每项任务都对应一个历史上确认并修复的 bug。
• 在前五条评论的指标下，claude-opus-5 搭配 copilot-cli 检出71.9%的已知 bug；论文同时报告，五个月前的 opus-4.6 为47.7%。
• Agent 在复杂修改、需要跨文件或非局部推理的 bug 上表现较弱，在私有仓库上的性能下降更明显，说明项目上下文会影响结果。
• 微软研究页面建议按 PR 复杂度配置审查力度、提供仓库知识并持续监测模型变化；这项研究评估的是已知 bug 的召回，不等同于发现所有未知缺陷或衡量误报率。
• 影响/看点：代码审查 Agent 可能适合承担初筛和补充检查，但是否能减少人工审查仍取决于误报、漏报、上下文接入和任务风险；在高后果代码中，基准分数不能单独替代人工责任链。资料依据:
• arXiv（2026-10-09）：https://arxiv.org/abs/2610.13668
• Microsoft Research（2026-10-01）：https://www.microsoft.com/en-us/research/publication/when-should-a-software-factory-be-lights-off-benchmarking-code-review-agents-on-bug-detection/?lang=ko-kr
• X：Rohan Paul（2026-10-13）：https://x.com/rohanpaul_ai/status/2110040070749303118

本内容由 AI 生成，仅供参考，请注意甄别