ProgramDistill：从交互式 Web 应用自动生成可验证软件工程任务

研究团队提出交互式 Web 软件工程基准 ProgramDistill，通过从真实可运行应用中提炼任务来评测代码智能体的功能逆向与实现能力。

• 根据 arXiv 于 2026 年 9 月发布的论文《ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks》，研究团队开发了 mine-craft-patch 自动化流程，无需人工干预即可从 26 个完整 Web 应用中提炼出 1975 个经重放验证的行为，构建了 4063 个基准任务。
• 该基准评估代码智能体在观察完整参考软件功能后，在残缺项目中推断并补全对应功能的能力。
• 论文测试显示，在全应用重建的累积工作流中，GPT-6 Astra 与 Claude Opus 5 的成功率分别为 49.2% 与 28.8%；而在部分重建任务中，随着修复深度从 1 增加至 8，智能体成功率均出现明显下降。
• 影响/看点：该基准意味着代码智能体评测正从单一 Issue 修复向复杂交互软件的整体逆向推断拓展，有助于为后续智能体课程学习与能力诊断提供细粒度测试依据。
• 资料依据：
• arXiv（2026-09-26）：https://arxiv.org/abs/2609.18805
• Hugging Face Papers（2026-09-26）：https://huggingface.co/papers/2609.18805

本内容由 AI 生成，仅供参考，请注意甄别