路由式持续学习让智能体互相借鉴经验
原文：Routed Continual Learning
大规模部署的智能体会反复遇到相关问题，让它们从彼此的经验中学习而不是每次从头开始是很自然的。然而，没有一种单一的保留经验的方式能在各种设置中都表现良好，也无法预先知道给定经验将有助于哪些未来问题。全局历史保留了每个细节，但变得昂贵且混合了可能不属于一起的经验；将历史压缩为单一固定表示限制了成本，但可能丢弃有价值的细节。我们引入了路由式持续学习（Routed CL），一种决定如何划分和保留经验的架构。过去的轨迹被分组为聚类，每个聚类使用固定库中的一个记忆系统维护状态。在每次运行之前，基于LLM的路由器要么复用现有聚类，要么创建新聚类，其决策基于问题陈述、记忆系统描述和聚类摘要。我们还引入了上下文记忆适配器，在记忆系统和智能体循环之间进行调解。我们在一个异构流上评估该架构，该流将来自六个CL-Bench任务的301个实例与来自$τ^3$-Bench的97个银行实例交错在一起。在四个语言模型和五次匹配部署中，路由式持续学习将归一化奖励相对于单一全局上下文学习（ICL）历史提高了最大可达归一化奖励的15-30%，实现了比仅ICL聚类更高的平均归一化奖励，并将估计API成本相对于全局ICL降低了65-72%。这些结果支持将持续学习视为一个路由问题，即同时选择学习机制和状态聚类，而不是全局承诺于一种表示。作者：Michael Philip, Mahesh Balakrishnan, David Geraghty, David Mao, Vidhya Venkat 类别：cs.LG,cs.MA