WebFovea：提升视觉网页智能体在真实网站上的操作可靠性

作者于2026年10月7日更新WebFovea技术报告，分析视觉网页智能体在真实网站中从模型决策到浏览器执行的完整链路，并报告其在WebRetriever Challenge 2026中以57.0分获得第二名，关注点是操作可靠性不只取决于模型推理。

• 报告把失败拆为动作解析、页面执行、结果反馈和信息观察四个环节，列举了坐标缩放错误、原生下拉框、iframe和输入框操作失败等问题。
• 作者称自生成聊天模板标记污染了4.9%的任务回合，并通过坐标对齐、表单填充、iframe点击回退和文本查找等机制处理部分故障。
• 在使用同一模型的四次官方提交中，隐藏集分数从31.0升至57.0；报告将提升主要归因于执行器和工具链变化，同时承认真实网站存在运行波动。
• 项目代码已在GitHub公开，仓库说明其使用Playwright和受限动作集合，并将登录或产生外部副作用的任务列为不适用范围。
• 影响/看点：研究意味着网页智能体的工程可靠性可能成为独立优化对象，但分数提升能否迁移到其他模型、网站和任务类型，取决于基准环境变化及重复实验结果。
• 资料依据:
• arXiv论文页面（2026-10-07）：https://arxiv.org/abs/2610.03036
• WebFovea GitHub仓库（2026-10-07）：https://github.com/jianganghan/WebFovea

本内容由 AI 生成，仅供参考，请注意甄别