DuMateBench 基准论文：Agent 框架差异可使同模型表现相差 27%

研究团队在 arXiv 发布论文《DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows》，构建了首个直接基于生产环境真实会话重建的自主智能体工作流评测基准。

• 基准包含从实际生产平台脱敏重构的 200 项复合任务，覆盖文档处理、代码编写、信息检索等 8 大场景与 17 个细粒度能力维度，且保留了先验交互历史与环境状态。
• 评测在隔离 Docker 容器中注入缺失依赖、网络不稳定与噪声干扰等三类真实环境扰动，并采用确定性校验与大模型裁判混合评测方案。
• 针对 5 种主流 Agent 框架与 4 种前沿大模型的实测表明，在相同模型底座下，不同 Agent 框架的工程编排与扰动处理差异可导致任务完成率相差达 27.27 个百分点。
• 影响/看点：这一研究意味着评估智能体实用价值不能仅依赖模型推理基准，外部编排架构的设计优化将成为提升复杂现实场景交付稳定性的关键前提。
• 资料依据：
• X：Rohan Paul（2026-09-03）：https://x.com/rohanpaul_ai/status/2095366172686402032
• arXiv（2026-08-27）：https://arxiv.org/abs/2608.26546

本内容由 AI 生成，仅供参考，请注意甄别