对抗自蒸馏方法提升语言模型安全防护鲁棒性
原文：Adversarial Self-Distillation
尽管当前的安全对齐语言模型能够拒绝有害请求，其防护仍可被对抗扰动绕过。与其他领域一样，对抗训练被视为标准防御手段。然而，由于语言生成的自回归特性，对模板式拒绝进行监督微调并不一定能教会模型拒绝。证据在于，经对抗训练的模型在攻击者注入顺从性预填时仍会顺从。我们提出对抗自蒸馏（ASD），将模型自身的安全行为扩展到对抗扰动空间。教师（给定干净提示的模型自身）可以默认拒绝有害请求，或借助其上下文中的额外指令拒绝。ASD在学生（即受攻击的同一模型）所访问的前缀处（由于同策略采样）将这些知识蒸馏给学生。这些前缀可能包含顺从性开头。ASD相比最先进防御取得更低的攻击成功率，同时在多选题准确率上损失很小，并且即使在顺从性开头之后也能恢复拒绝。作者：Mohammad Sadegh Akhondzadeh、Soroush H. Zargarbashi、Aleksandar Bojchevski。类别：cs.LG。