TokenGate 通过令牌门控让长上下文预填充最高提速 11.3 倍

斯坦福大学与加州大学伯克利分校研究者提出 TokenGate，用可训练的 token 筛选减少长上下文预填充阶段的处理量，论文报告在部分测试中提升首 token 延迟并降低峰值内存，关注点在于长上下文推理的资源效率。

• TokenGate 在模型中加入 MLP 门控和 LoRA，对文档部分进行 top-K token 选择，问题部分不被裁剪。
• 论文在 Qwen3-1.7B、Qwen3.5-2B 和最多 128k token 上下文中进行实验，速度收益随任务和预算变化。
• 论文报告的 TTFT 加速范围为 1.4 至 11.3 倍，峰值预填充内存降低约 1.5 至 3.4 倍；这些结果来自特定硬件、批大小和基准设置。
• 该方法需要额外训练门控模块，且剪枝可能影响准确率，不能把单项基准结果直接外推到所有模型和生产负载。
• 影响/看点：若在真实长文档、代码和检索任务中保持准确率，TokenGate 可能降低长上下文服务成本；成立条件是部署框架、训练开销和任务泛化能力经独立测试验证。
• 资料依据:
• TokenGate 论文（2026-10-25）：TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning https://arxiv.org/abs/2610.26754
• TokenGate GitHub（2026-10-25）：官方代码与检查点 https://github.com/token-gate-llms/TokenGate
• MarkTechPost（2026-10-25）：TokenGate 技术总结 https://www.marktechpost.com/2026/10/25/stanford-berkeley-tokengate-learned-token-pruning-llm-prefill/

本内容由 AI 生成，仅供参考，请注意甄别