NVIDIA 论文提出用关键编辑点预测编码智能体后训练表现

NVIDIA等机构于2026-10-07提交预印本，提出用成功编码智能体轨迹中的“决定性编辑”评估基础模型，以较低成本预估其后训练后的编码智能体表现。

• 论文回放成功轨迹，并在每次代码修改后重新运行测试，把首次令仓库由失败转为通过的编辑定义为决定性编辑。
• 研究人员在该位置测试基础模型对正确编辑的概率、从错误候选中选出正确编辑的能力，以及生成可通过实现的能力。
• 在十个基础模型与后训练模型配对的实验中，决定性编辑的字节归一化概率与后训练模型的SWE-bench Verified pass@1排名相关，Spearman相关系数为0.964。
• 论文报告的是小规模模型群体中的排名相关性，不是后训练收益的因果证明；方法还依赖成功轨迹和可执行验证器。
• 影响/看点：如果这一相关性能在更多模型、任务和训练配方中复现，模型筛选可在昂贵后训练前提前进行；其有效性取决于轨迹质量、验证器覆盖度及跨基准迁移能力。
• 资料依据:
• arXiv（2026-10-07）：https://arxiv.org/abs/2610.10478
• OpenAI（2024-08-05）：https://openai.com/index/introducing-swe-bench-verified/

本内容由 AI 生成，仅供参考，请注意甄别