面向参数高效对抗训练的稀疏微调方法
原文：Sparse Fine-Tuning for Parameter-Efficient Adversarial Training
深度神经网络在许多任务上取得了强劲性能，但仍然容易受到对抗扰动的影响。对抗训练（AT）是最有效的防御方法之一，但在大模型上面临高内存开销以及持续的干净-鲁棒精度权衡问题。近期工作将 LoRA 等参数高效微调引入 AT，但这种约束相对于全参数 AT 带来了显著的鲁棒性差距。在本工作中，我们从参数空间的视角重新审视参数高效对抗微调。通过梯度分析，我们发现对抗优化高度集中在少量参数子集上，我们称之为鲁棒性关键参数（RCPs），这表明鲁棒性编码在一个稀疏子空间中。基于这一观察，我们提出了稀疏对抗微调（SAFT），它通过对抗梯度显著性识别 RCPs，并仅更新这些参数而冻结其余参数来执行 AT。在多种架构和数据集上，SAFT 以更少的可训练参数在干净精度和鲁棒精度上均优于基于 LoRA 的方法，并且仅更新约 5% 的参数即可在鲁棒性上接近或超越全参数 AT。作者：Zhaoxin Wang, Zihang Ding, Handing Wang 类别：cs.LG, cs.AI