讨论长上下文模型应重视遗忘而非仅记忆
原文：Are we solving LLM memory by remembering more, when the real problem is knowing what to forget?[D]
长上下文模型现在可以处理数百万个token。但我一直在想，我们是不是过于关注回忆，而忽略了信息发生变化时会发生什么。以图中的例子来说。一个编码agent最初学到的是get_user(user_id)，但后来的一次更新将其改为get_user(org_id, user_id)。两个版本仍然都可以访问。agent现在必须弄清楚该用哪一个。处理这个问题有两种方式：更新已存储的记忆本身，或者保留两个版本并在读取时解决冲突。不同的架构对此有不同的处理方式。Transformer和RAG大多保留历史，线性注意力对其进行压缩，DeltaNet使用基于预测误差的更新，而BDH（Dragon Hatchling）则探索Hebbian突触可塑性。但更好的回忆并不一定意味着更好的修正。即使正确的信息可用，模型仍然可能依据过时的信念行事。我想知道我们的记忆基准测试是否足够充分地测试了这一点。模型能否在新证据到来时更新其答案，同时不丢失此前为真的信息，也不干扰无关的记忆？这主要是一个记忆更新问题，还是一个推理问题？是否有专门测试这一点的好的基准？由/u/Prestigious-Tip6030提交[链接][评论]