分析MoE微调中路由器导致冷门专家梯度饥饿
同一份微调数据，Dense 模型稳稳涨分，MoE 却时好时坏。问题不在数据，在那个负责分配 token 的路由器。 一、先看基础：MoE 里每个 token 先过路由器打分，只送给得分最高的几个专家。关键是，只有被选中的专家才拿得到梯度。没被选中的，这一步等于没上课。 二、于是微调几百步，热门专家越喂越肥，冷门专家一直挨饿。那冷门的干脆砍掉？实验说不行：只保留激活最多的四分之三，性能直接掉一成以上。冷门专家里，也藏着知识。 三、老办法是加负载均衡损失，可它会带来噪声梯度。ExpertCondenser