MemT-1.0：走向记忆原生的模型演进

论文《MemT-1.0: Towards Memory-Native Evolution》提出将持续记忆直接纳入基础模型计算，而不是完全依赖外部检索或完整上下文，关注价值在于它尝试同时处理长历史、存储开销和智能体经验积累问题。

• 模型采用Gated DeltaNet-2和逐token记忆更新机制，使记忆成为每轮计算的一部分。
• 论文引入Mixture-of-Storage以扩展原生记忆容量，并通过持续预训练与后训练构成两阶段训练流程。
• 作者发布MemT-1.0-Nano和MemT-1.0-Flash两个模型，并使用34B tokens训练数据进行评测。
• 在128K历史长度下，论文报告Nano端到端推理速度约提升1.86倍、持久化存储相对完整上下文KV cache减少约66倍；这些结果属于论文实验设置下的比较。
• 影响/看点：原生记忆若能在不同任务和更长时间跨度上保持稳定，可能降低智能体反复检索和保存上下文的成本；能否迁移到实际部署，还取决于记忆更新的准确性、遗忘控制和跨场景评测结果。
• 资料依据:
• arXiv《MemT-1.0: Towards Memory-Native Evolution》（2026-10-19）：https://arxiv.org/abs/2610.26825
• GitHub《MemTensor/MemT-1.0: Official repository for MemT-1.0》（2026-10-19）：https://github.com/MemTensor/MemT-1.0

本内容由 AI 生成，仅供参考，请注意甄别