字节研究发现：长上下文压缩可能导致模型检索性能周期性漂移

字节研究团队发表于 arXiv 的预印本指出，采用分块 KV 缓存压缩的长上下文模型可能出现周期性的检索性能差异，关注价值在于平均基准分数可能掩盖特定位置上的系统性弱点。

• 论文称，压缩窗口会引入 token 相对于窗口边界的位置变量，即“相位”。
• 相同信息在不同相位下可能出现易检索和难检索的差异。
• 论文在相关开放权重模型中观察到，长上下文检索准确率跨相位最多相差 40 个百分点。
• 研究还通过从头训练和因果干预，分析了不同注意力组件对相位检索的非对称贡献。
• 影响/看点：长上下文系统的评测可能需要按压缩相位分层，而不能只看总体平均分；这一结论能否外推到更多架构和真实任务，还取决于后续复现与跨模型验证。
• 资料依据:
• arXiv（2026-09-28）：Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression：https://arxiv.org/abs/2609.36322
• IT之家（2026-10-09）：字节 Seed 团队发现长上下文可能性能漂移：https://www.ithome.com/1/010/780.htm

本内容由 AI 生成，仅供参考，请注意甄别