MMEnterprise-Bench：评估企业智能体在动态多模态记录上的表现

arXiv论文《MMEnterprise-Bench》于2026-10-20提交，发布了一个面向动态多模态办公记录的企业智能体评测基准，关注价值在于把版本变化、跨来源冲突和无法作答纳入企业问答的系统性测试。

• 基准包含1613道问题，数据来自模拟协作项目中的文档、聊天记录和图表，覆盖证据推理、冲突解决和不可回答性三个类别。
• 论文评估了10个商业和开源多模态大语言模型，报告模型在跨来源或时间冲突、以及需要综合多张图像时仍容易出错。
• 增加检索预算或使用更大的检索器能够提高证据召回，但并不稳定地提高最终答案准确率，说明检索覆盖与证据判断之间存在差距。
• 数据和代码通过项目页发布，但该基准使用模拟协作记录，能否代表不同行业真实工作区仍需要额外验证。
• 影响/看点：企业智能体的评估重点可能从单次检索答案转向版本意识、证据冲突处理和拒答边界；其实际影响取决于基准与真实业务数据的相似度，以及模型能否在权限、隐私和持续更新条件下复现这些能力。
• 资料依据:
• arXiv论文（2026-10-20）：https://arxiv.org/abs/2610.27911
• MMEnterprise-Bench项目页（2026-10-20）：https://mlvlab.github.io/MMEnterprise-Bench/

本内容由 AI 生成，仅供参考，请注意甄别