提出归一化LoRA改进参数高效微调的训练稳定性
原文：Normalized Low-Rank Adaptation
虽然低秩适配（LoRA）被广泛用于参数高效的模型适配，但如何正则化其训练动态以实现稳定有效的优化仍鲜有研究。由于LoRA将上投影矩阵初始化为零，其早期优化动态主要由下投影矩阵决定。基于这一观察，我们提出Normalized Low-Rank Adaptation（NoRA），一种简单而有效的方法，在训练过程中对下投影矩阵进行归一化。我们进一步证明，同样的归一化可以只在初始化时应用，即可在无需整个训练过程中反复归一化的情况下改进标准LoRA。在预训练、监督微调和强化学习任务中，NoRA始终能加速收敛、提升性能和训练稳定性，并缓解灾难性遗忘。这些收益既不需要额外的可训练参数，也不增加推理时计算量，使NoRA成为对LoRA的一种简单且广泛适用的增强。