多视角MoE让每个路由器塑造专家计算提升稀疏模型
原文：Multi-View MoE: Letting Every Router Shape Expert Computation
稀疏混合专家（MoE）模型通过为每个token激活一小部分专家来扩展参数容量。在固定的激活专家预算下，专家选择直接影响模型能力。对所有专家进行密集评估显示，单路由器排序与专家效用评估排序之间一致性较弱，尤其是在中间层和深层。更丰富的选择与计算信号会带来额外成本：基于专家内部激活的选择需要预先计算，而将多个完整表示分别通过同一专家处理则会重复其计算。我们提出Multi-View MoE，通过多个路由器改进专家选择，并复用它们的偏好来在固定专家预算下调制专家计算。其Multi-Router子模块聚合来自独立初始化路由器的sigmoid分数。这些路由器在训练过程中形成高度差异化的专家偏好，使得被某个路由器强烈偏好或被多个路由器共同支持的专家能够被选中。Multi-View进一步利用每个被选专家在各路由器上的相对分数，将学习到的潜在视图混合进其输入，从而在选择和计算中复用路由偏好。每个被选专家执行一次前向传播，保持激活专家数量、专家FLOPs和全对全通信量不变。在一个24层10B-A1B模型（训练于708B token）上，完整的Multi-View MoE将九项任务下游平均性能较基线提升1.18个百分点。仅Multi-Router就带来0.6个百分点的增益，并改善了路由器分数与评估专家效用之间的秩相关性，全局相对提升8.1%，在单路由器对齐最差的层中相对提升约58%。受控混合干预表明，模型使用的输入差异同时取决于专家和token。作者：Zelin Zhao, Tianchi Ma, Junyuan Shang, Shuohuan Wang, Dianhai Yu