Continuum Attention：用连续记忆曲线替代离散键值查询的注意力机制

arXiv 于 2026-10-14 提交的论文提出 Continuum Attention，把传统注意力对离散键值位置的查询改写为沿连续、分段线性的记忆曲线进行积分，关注价值在于它探索了 Transformer 注意力在表示形式上的替代方案。

• 每个查询通过指数相关性密度作用于连续记忆曲线，并用闭式指数矩计算归一化注意力。
• 梯度可由不超过二阶的矩解析得到，论文据此提出并行 GPU 实现，同时保留标准 Transformer 解码器结构。
• 该方法仍具有二次序列复杂度，因此论文摘要并未表明它已经解决长上下文的主要计算瓶颈。
• 在作者报告的验证集上，相比普通 softmax，平均验证负对数似然降低 0.0200 nats per byte；相比 focal attention 降低 0.0480。
• 另一份不重叠验证切片相对选定 softmax 基线的优势为 0.0457 nats per byte，但论文明确指出更大规模泛化仍待研究。
• 影响/看点：如果连续记忆表示在更大模型、更长序列和不同语料上仍能保持优势，注意力设计可能出现新的实现路径；现阶段结果主要支持可行性，不能据此判断其训练或推理成本已经优于成熟方案。资料依据：
• arXiv（2026-10-14）：https://arxiv.org/abs/2610.20586
• DataCite DOI记录（2026-10-14）：https://doi.org/10.48550/arXiv.2610.20586

本内容由 AI 生成，仅供参考，请注意甄别