ICAE-Bench：评测编程智能体的交互式项目构建能力

一篇新论文提出ICAE-Bench,专门评测编程智能体在“vibe coding”式交互场景下,把模糊产品需求逐步转化为可用软件的能力,而不是像传统基准那样只考核需求已写清楚时的代码完成度。

• 用一个自动化“用户Agent”模拟真实产品经理提需求时的模糊性和渐进澄清过程
• 每个任务的模糊性都来自一个真实开源仓库的可执行行为,避免无约束模糊需求带来的评测歧义
• 用户Agent基于预先准备好的用户数据揭示隐藏约束,但不会临时编造新需求或泄露实现细节
• 同时用标准化黑盒测试和多维诊断(功能正确性、语义与API相似度、结构保真度、设计质量、交互质量)综合打分
• 把“能不能听懂模糊需求、边聊边把活干对”纳入编程Agent能力评测,比静态任务基准更贴近实际vibe coding的使用体验。

本内容由 AI 生成，仅供参考，请注意甄别