提出教师进化的在线策略自蒸馏方法
原文：On-Policy Self-Distillation with Teacher Evolution
同策略自蒸馏（OPSD）通过特权上下文提示使自教师模型对齐学生模型的token级分布，已成为缓解序列级后训练范式中奖励稀疏问题的一个有前景的方向。然而，OPSD在训练过程中往往无法实现持续的性能提升。本文发现，模型有限的自教学能力是这一现象的根源，其会在某些样本上产生不可靠的指导。为解决此问题，我们提出教师进化自蒸馏（TESD），使自教师能够基于任务正确性和上下文独立性生成rollout并接收环境反馈。首先，以这些奖励作为训练目标，我们执行面向教师的优化，以在蒸馏过程中持续增强模型的自教学能力。其次，通过从这些奖励中估计教师指导的可靠性，我们应用自适应的面向学生的优化来降低具有不可靠指导的样本的权重。跨多个数据集和模型规模的广泛实验表明，TESD始终优于代表性的token级和序列级方法，凸显了提升OPSD中监督质量的必要性。作者：Shufan Shen, Zhongni Hou, Chao Bi, Yufei Zhang, Guojun Yin 类别：cs.LG,cs.AI