诊断策略更新导致的智能体技能效用变化
原文：Before the Next Rollout: Diagnosing Skill Utility Shifts from Policy Updates
技能演化方法通常分析执行轨迹来指导智能体技能改进。然而，策略更新可以改变未变技能的行为效果和边际效用。因此，基于早期轨迹的归因可能不再反映技能在更新后策略下的贡献。此外，轨迹失败可能源于多种因素，使得单个技能的贡献难以隔离。我们评估策略更新信号是否包含关于技能边际效用变化的预测信息。在更新前训练部署的固定上下文中，我们测量策略更新如何改变技能条件与对照条件之间token偏好的对比。将这些交互偏移与优势估计相结合，产生用于诊断效用变化的奖励导向读数。这些读数复用现有训练部署，仅需前向传播进行单步动作评分，无需额外的更新后部署评估。我们的实验表明，策略更新可以改变技能边际效用，且策略更新读数携带诊断信息，可用于识别效用下降的技能。将读数引导的优先级排序整合到技能演化中，可改善下游性能，同时减少策略和编辑器的token消耗。作者：Yifan Wang, Zhenyi Gai, Yiwen Zhao, Mingxuan Jiang, Keyang Chen 分类：cs.AI