PIVOT在线教师纠正渐进干预缓解RLVR稀疏奖励
原文：PIVOT: Progressive Intervention via Online Teacher Correction
基于可验证奖励的强化学习（RLVR）在困难推理任务上受限于稀疏的结果级反馈：当一组中的所有 rollout 都失败时，奖励无法提供学习信号。更强的教师可以提供额外指导，但这引出一个核心问题：如何将此类信号纳入RLVR以支持成功的 rollout，同时对学生保持可学习性？我们区分了两种互补机制：轨迹级干预，改善对携带奖励轨迹的获取；以及 token 级监督，提供密集目标以引导学生学习。我们的受控实验表明，任一机制单独使用都可能不够，这促使我们将二者结合。因此我们提出PIVOT，将教师生成的纠正插入学生 rollout，并在这些片段上施加 token 级 KL 监督，同时保留 RLVR 目标。除结合二者之外，我们系统分析了应在何处干预以及如何监督，得出一套有效指导的配方。在困难逻辑游戏和数学推理基准上，PIVOT 持续优于现有方法，将逻辑游戏上的平均 avg@8 从最佳基线 19.5% 提升至 35.6%，几乎翻倍。作者：Zhihao Yang, Boyuan Zheng, Puhui Tan, Yukun Chen, Kuan Zhang。类别：cs.CL