上下文压缩研究：节省Token可能反而拖慢智能体

该条目介绍一项针对 LLM 智能体上下文压缩的实验研究，关注点在于减少 token 是否一定带来更快执行和更低成本。

• 条目称，研究在 SWE-bench Verified 与 Terminal-Bench 上进行了近 35,000 次实验，并比较压缩方式、触发时机和删除比例。
• 这类评估的关键不只是上下文长度，还包括压缩所需的额外计算、信息丢失以及任务失败后的重试成本。
• 既有论文《LLMLingua》于 2023-10-09 提交，显示提示压缩可在特定数据集上减少输入长度，但结果依赖压缩方法和任务类型。
• 因此，token 数量下降不能直接等同于端到端延迟或总成本下降，尤其是在多轮工具调用的智能体场景中。
• 影响/看点：若该研究结论成立，智能体优化指标可能需要同时衡量压缩开销、成功率、重试次数与总耗时，而不能只看上下文 token 数。
• 资料依据:
• X：Elvis Saravia（2026-10-05）：https://x.com/omarsar0/status/2106927371366596692
• arXiv《LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models》（2023-10-09）：https://arxiv.org/abs/2310.05736

本内容由 AI 生成，仅供参考，请注意甄别