提出每token独立多教师自适应在线自蒸馏方法
原文：Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation
同策略自蒸馏（OPSD）已被证明能通过构建以特权参考为条件的教师来有效后训练大语言模型。然而，现有方法要么在整个训练过程中保持教师固定，始终让其接触完整参考；要么在每个响应内固定教师，仅在响应之间自适应变化部分参考的暴露程度。本文认为两者都不够。相反，每个 token 都需要自己的教师，因为教师偏好在同一响应内可能逐 token 变化。通过教师干预试点研究，我们验证了教师偏好因 token 而异，并揭示可以通过多数投票和基于 KL 的选择为每个 token 识别出偏好的教师。受这些发现启发，我们提出多教师自适应同策略自蒸馏（MTA-OPSD），这是首个 token 级自适应 OPSD 方法。该方法构建由候选教师组成的多教师池，使每个 token 在训练期间自适应选择其偏好的教师。在数学推理任务上使用 Qwen3 模型进行的实验表明，MTA-OPSD 持续优于现有 OPSD 方法，相较基础模型平均增益最高达 +5.9，凸显了在 token 级自适应教师监督的重要性。代码见 https://github.com/xingzhejun/MTA-OPSD。作者：Yifu Luo, Chuang Ma, Zeyu Chen, Enkelejda Kasneci, Qi Chen。类别：cs.CL