混合专家模型Softmax路由崩溃与恢复动态研究
原文：Softmax Routing Dynamics in Mixture-of-Experts Models: Collapse and Recovery
专家混合模型中的Softmax路由可能将概率集中在部分专家上，从而抑制对其他专家的访问。我们研究了这种集中如何形成、为何持续以及被抑制的概率如何恢复。对于固定专家，平稳损失障碍识别出支撑最优路由输出的面。在专家输出可自由训练的公共目标平方损失模型中，慢适应在有限时域上跟踪固定专家动力学，而每个固定正适应率都会产生内部路由极限。精确的法向速度分解将互补专家协方差与相对梯度优势分离。在恢复路径上的正双侧幂界下，对初始质量均匀分布，所得系数的消失阶给出对数或幂律恢复时间。构造场的积分再现了这些阶数。精确的离散对数几率恒等式将神经更新与阈值穿越联系起来。在成对Transformer-MoE训练中，移除类条件路由器梯度对比会延迟确认恢复并降低固定token上的累积对数几率，无论是否施加容量约束。作者：Shengze Xu, Maolin Deng, Tieyong Zeng 类别：cs.LG