美团LongCat发布更难搜索智能体基准LoHoSearch

美团 LongCat 团队发布新基准 LoHoSearch，专门针对搜索智能体评测已经「刷到饱和」的问题——现有 BrowseComp 等基准准确率已被卷到 90% 左右，区分度不足，急需更难的题库。

• 基准题目并非人工编写，而是基于一个包含 762 万实体的维基百科知识图谱自动生成，理论上可持续扩展、难度可控。
• 首批发布 544 道题目，覆盖 11 个领域，题目结构采用树状与图状设计，比线性单跳检索问题更贴近真实复杂检索场景。
• 在 11 个前沿模型上测试，表现最好的模型正确率仅 34.74%，与 BrowseComp 上普遍 90% 左右的成绩形成鲜明反差，说明真实搜索推理能力仍被高估。
• 即便引入更强的上下文管理策略，也只带来约 6.8 个百分点的提升，说明瓶颈不只是「记住更多上下文」，而是多跳推理和信息整合能力本身。
• 该基准已开源，方便社区复现和迭代评测方法。
• 对正在做搜索/Agent 类产品的团队，LoHoSearch 提示了一个信号：现有评测已经测不出模型的真实短板，该基准或将成为下一阶段搜索智能体能力对齐的新标尺。

本内容由 AI 生成，仅供参考，请注意甄别