重新审视无权重扰动的神经厚丛假设
原文：Rethinking Neural Thickets Without Weight Perturbations
神经密集簇假说认为，预训练语言模型位于权重空间中任务特定专家的密集邻域内，随机高斯扰动可以揭示这一点。我们复现了所报告的增益，但表明它们不需要这种几何解释。仅扰动单个解码器块就已经恢复了大部分改进，而在保持模型完全冻结的情况下向其输出logits添加随机偏置，在大多数推理任务上匹配或超过了全权重扰动。这表明一种基于输出多样性、基于验证的选择和投票的替代解释。我们将这一观点形式化为扰动-选择-投票（PSV），一种生成扰动预测器、在小验证集上选择高性能成员并聚合其预测的通用流程。这种解释将神经密集簇与已建立的推理时方法联系起来，包括采样、自一致性和验证器引导的选择。一阶分析进一步表明，小的权重扰动主要通过其诱导的logit偏移起作用。我们将这一分析扩展到视觉领域，其中logit PSV在域偏移下显著提升性能，包括在地球观测方面，而全权重扰动提供的额外收益很小。总之，这些结果表明，归因于附近权重空间专家的增益可以通过输出多样性、选择和投票来获得。Logit PSV在完全冻结的模型下实现了这些好处，为语言和视觉领域的全权重扰动集成提供了一种简单、免训练的替代方案。作者：Nicolas Dufour, Elouan Gardès, Amil Dravid, Patrick Pérez, Loic Landrieu 类别：cs.LG,cs.AI,cs.CV