JevAgentHarness:让决策模型与大语言模型协同驱动智能体
JevAgentHarness评估让轻量决策模型接管部分工具选择,以降低大语言模型智能体成本和延迟。
AI 深度解读
论文《JevAgentHarness》研究让较小的决策模型承担智能体中的工具选择,并由大语言模型处理低置信度决策,关注价值在于降低长任务中重复调用大模型的延迟与成本。
- 论文于2026年10月15日提交,并构建AgentDecisionBench评估决策模型从孤立问题到运行中智能体控制的能力。
- 作者报告,单独问题上最准确的决策模型在完整智能体任务中的成功率只有69.5%;未设置置信度阈值时,工具委派使成功率下降19.0个百分点。
- JevAgentHarness为每类决策拟合阈值,并训练开放的4B模型处理智能体自身错误后到达的状态。
- 在与训练数据相似的任务上,论文报告成本降低81.1%至89.0%、速度最高提升2.5倍,同时成功率没有下降3个百分点以上。
- 影响/看点:将简单决策下沉给小模型可能降低智能体运行成本,但收益依赖阈值校准、任务分布和错误状态覆盖;跨领域部署时,安全相关工具仍需要更严格的回退策略。
- 资料依据:
- JevAgentHarness论文(2026-10-15):arXiv论文摘要与提交记录:https://arxiv.org/abs/2610.21412
- JevAgentHarness代码仓库(2026-10-15):论文提供的官方GitHub项目:https://github.com/JevAgentHarness/JevAgentHarness
本内容由 AI 生成,仅供参考,请注意甄别