[论文] MemT-1.0：迈向记忆原生进化

记忆原生进化要求将记忆作为基础模型的内在能力，使其能够持续积累和利用信息。为此，我们推出MemT-1.0，一种将记忆内化为模型计算一部分的记忆基础模型新架构。MemT-1.0基于Metis构建，采用Gated DeltaNet-2，并在每轮内具有稳定的token级记忆更新机制。我们进一步引入Mixture-of-Storage以扩展原生记忆容量。经过精心设计的主干准备，我们开发了由持续预训练和后训练组成的两阶段训练流水线，并由34B token的训练数据以及高效的训练和推理基础设施支持。我们发布了包含MemT-1.0-Nano和MemT-1.0-Flash的模型系列，并对记忆和通用能力进行了全面评估。结果表明，它们在平均表现上优于参数化记忆基线，并与检索增强方法保持竞争力，同时基本保留了通用能力。在128K token的历史长度下，MemT-1.0-Nano相比完整上下文KV缓存实现了约1.86倍的端到端推理加速和66倍的持久存储减少。通过内化检索到的程序性经验，MemT-1.0提高了智能体任务的成功率，为记忆原生进化迈出了实用的一步。