SWE-Pruner Pro：编程大模型已知如何剪枝

SWE-Pruner Pro发现编程大模型内部已编码代码相关性信息，可直接在模型内部进行上下文剪枝，节省高达39%的token且保持任务质量。

• 现有剪枝方法如SWE-Pruner依赖附加的独立代码分类器，而SWE-Pruner Pro利用模型自身内部表征，通过一个小型头部为每行生成保留或剪枝标签。
• 引入长度感知嵌入，关联每个工具输出的行数，使剪枝更精准。
• 在两个开放权重基座和四个多轮基准上，SWE-Pruner Pro节省高达39%的提示和补全token，推理开销有限。
• 在MiMo-V2-Flash上，SWE-Pruner Pro额外将SWE-Bench Verified解决率提升3.8%，长上下文Oolong准确率提升2.2个百分点。
• 影响/看点：SWE-Pruner Pro无需外部分类器，利用模型自身知识实现高效上下文剪枝，为编程智能体的上下文管理提供了更轻量、更自然的解决方案。

本内容由 AI 生成，仅供参考，请注意甄别