微软研究：免训练滑动窗口注意力在低内存推理上优于线性注意力

微软研究团队于 2026 年 8 月发表论文《Sliding-window beats linear attention》，指出在降低大语言模型推理显存占用的场景下，免训练的滑动窗口注意力机制在多数基准测试中优于重构后的线性注意力。

• 论文发现，仅在注意力计算中保留前 4 个汇聚词元（sink token）并结合局部滑动窗口，即可在 1.3B 至 70B 参数的模型上维持推理稳定性，避免因简单截断引起的性能急剧退化。
• 在长文本检索与推理测试（如 Needle-in-a-Haystack 和 BABILong）中，结合汇聚词元的滑动窗口注意力表现优于线性注意力方法 2 至 10 倍。
• 作者分析指出，过往线性注意力研究普遍将全量二次注意力作为对比基准，忽略了计算与内存开销更低且无需微调的滑动窗口基线，导致对架构重构必要性的评估存在偏差。
• 影响/看点：这一研究意味着在追求低显存推理时，免训练的注意力窗口截断方案可能比成本高昂的模型线性化微调更具工程实用性，但其有效性仍受限于下游任务对跨长窗口全局依赖的强弱。
• 资料依据：
• arXiv（2026-08-30）：https://arxiv.org/abs/2608.28444
• X：Rohan Paul（2026-09-02）：https://x.com/rohanpaul_ai/status/2095062924771438770

本内容由 AI 生成，仅供参考，请注意甄别