新型 Transformer 架构提案 RLT：通过跨 Token 循环复用降低单 Token 计算成本

研究者提出了一种名为循环循环 Transformer（Recurrent Looped Transformer，简称 RLT）的新型架构设计提案，旨在通过在 Token 维度复用循环解码器来降低长序列处理中的单 Token 计算成本。

• 架构由因果编码器与循环解码器构成，编码器负责构建全局键值（KV）记忆，解码器则跨所有 Token（包含提示词与回复）循环复用。
• 在处理新 Token 时，解码器结合该 Token 的编码器表征、前一 Token 的最终隐状态以及近期激活值的滑动窗口缓存进行计算。
• 理论计算路径随序列长度扩展，例如在 48 层解码器下处理 t 个 Token 会经历 48t 个解码块，但在保持深度随序列增长的同时，每个 Token 执行的计算块数量保持恒定。
• 该方案在预训练、指令微调、采样及强化学习重放阶段保持统一的状态转移逻辑，但作者明确指出推理增益、硬件加速与强化学习扩展性目前仅停留在设计阶段，尚未经过实测验证。
• 影响/看点：该设计若能实现，可能为长上下文与多步推理模型提供兼具递归深度与计算开销可控的新路径，但其实际价值取决于后续实验能否克服跨序列循环带来的并行计算与硬件适配瓶颈。
• 资料依据：
• GitHub 开源项目仓库（2026-09-13）：https://github.com/yifanzhang-pro/recurrent-looped-tranformer
• Elvis Saravia 个人 X 账号（2026-09-13）：https://x.com/omarsar0/status/2099184337195565335

本内容由 AI 生成，仅供参考，请注意甄别