KVMem 架构：通过分页 KV 状态与多级存储虚拟化百万 Token 智能体空间

研究团队于 2026 年 9 月 4 日在 arXiv 发布论文《KVMem: Virtualizing Million-Token Agent Workspaces on a Consumer GPU》，提出通过分页 KV 状态与多级存储架构虚拟化智能体超长工作区，为在消费级硬件上运行百万 Token 级长上下文智能体提供了系统级解决方案。

• 针对长时智能体超出显存与上下文窗口的问题，放弃易丢失细节的文本压缩摘要，改以分页键值（KV）状态完整保存溢出历史。
• 采用显存、主机内存与 NVMe 固态硬盘的三级分层存储体系，拓展可承载的状态空间。
• 借助模型原生的轻量注意力索引检索相关历史数据块，在原生上下文窗口内动态物化查询视图。
• 测试显示该方案在消费级笔记本显卡上可支持百万 Token 历史交互，并在 LongMemEval 等基准上保持了推理效率。
• 影响/看点：该架构有望降低本地与边缘设备运行复杂长时智能体的硬件门槛，但实际交互体验仍取决于多级存储间数据置换延迟能否满足实时响应需求。
• 资料依据：
• arXiv（2026-09-04）：https://arxiv.org/abs/2609.04852
• X：Elvis Saravia（2026-09-09）：https://x.com/omarsar0/status/2097558879194558838

本内容由 AI 生成，仅供参考，请注意甄别