分析on-policy RL中top-p截断导致训崩的原因
你的 RL 明明是 on-policy，却莫名其妙训崩？可能只因为 rollout 里多写了一行，top-p 等于 0.8。 一、先看基础：top-p 采样，就是把概率的尾巴剪掉，只在剩下的词里抽。可训练端算重要性比的时候，用的是完整词表的概率。采样和训练，看的根本不是同一个分布。 二、分子分母对不上，重要性比从根上就是错的。那训练端自己再剪一遍呢？也不行。边界上的词，在两个后端里一会儿在里面、一会儿在外面，对数概率直接变成负无穷。 三、DeepSeek V3.2 的做法是：把采样时那张掩码存下来，原样