ShallowDefend利用浅层安全对齐防御多轮攻击
原文：ShallowDefend: Harnessing Shallow Safety Alignment for Multi-Turn Defender
安全对齐使大语言模型能够可靠地直接拒绝有害请求，但同样的请求分散在多轮对话中时仍然过于频繁地成功。这种脆弱性有其机制根源：对齐是浅层的，安全行为集中在模型的前几个输出token中，而现有防御继承了这一弱点，仅监督响应的表面形式，从未给模型一个明确的安全决策去学习。我们对浅层性持相反观点：如果短跨度决定了整个响应的轨迹，那么该跨度就是最高杠杆的干预位置，防御者可以先占据它。我们提出了“评估→决策→响应”框架，防御者评估用户意图，做出明确的、可解析的安全决策，然后才基于该决策生成回复，该决策在载荷轮次通过强化学习训练。由于决策是一个token跨度，奖励可以是一条规则：自验证奖励将所承诺的标签与对话的已知性质进行核对，无需评判者和标注，同时相同格式也支持在分级决策空间上使用LLM作为评判者的奖励，并带有安全重定向。在两个模型系列和涵盖安全、效用和有用性的十四个基准上，我们的防御器在受控比较中实现了最强的多轮安全性，在保持安全领先的同时维持效用，仅以适度的有用性代价为代价。逐token KL分析和干预性探测证实了其工作原理：训练将效果集中在设定响应轨迹的短暂斟酌上，在那里承诺的决策是一个因果控制点。攻击者所利用的浅层性恰恰成为了防御的机制。作者：Qiyao Ma、Xiaodong Liu、Weiwei Yang、Mingqian Feng、Chengquan Guo。类别：cs.CL