提出检索即遍历的价值索引记忆用于长上下文Agent
原文：Retrieval as Traversal: Value-Indexed Memory for Stateful Long-Context Agents
长上下文模型反复解决密切相关的检索问题。注意力或全局检索可以保留大量存储，但每次前向传播都会再次搜索重要内容。循环压缩仅通过提前决定保留哪些信息来避免这种搜索。这两种机制都没有直接利用相邻检索步骤中有用记忆可能大幅重叠这一特性。我们提出一种替代方案，其中检索是通过地址空间的持久局部遍历。我们将记忆的内容与其地址分离。效用由检索内容所揭示的信息定义，而几何仅决定该信息可以被多廉价地到达。这导致一种成本正则化的索引目标，在局部邻域内保留信息价值，同时对每个可本地访问的记忆收费。其边际价值形式同时给出吸引和排斥压力。因此，当额外价值超过检索成本时，互补记忆应可共同检索，而冗余记忆不应仅因各自有用就占据同一检索集。作为原理验证，我们仅在MiniGrid Memory上测试最简单的固定几何实例。一个持久局部遍历头在五token上下文下经过0.59M训练步达到0.95平均回报，而高斯绝对寻址为0.94M，分类绝对寻址超过2M。该实验未测试学习几何或重复检索。相反，它支持了有状态检索可能比无状态检索更容易学习这一假设。要测试完整的提出方法还需要进一步实验。作者：Daniel Strauß, Zhenshan Bing, Alois Knoll。类别：cs.AI