通过模型课程自动发现越狱提示
原文：Discovering Jailbreaks via Curriculum of Models
自动化越狱发现旨在找到能诱导经过安全训练的语言模型产生违禁行为的提示，帮助开发者在部署前识别漏洞。其中一类方法使用强化学习训练一个调查者模型，使其生成能从目标模型诱导出指定行为的提示。然而，直接针对经过安全训练的目标进行训练很困难，因为几乎所有提示都会被拒绝，导致调查者获得的奖励信号十分稀疏。此前的工作通过倾向性边界（PRBO）解决这一问题，即从更顺从的目标采样回复来估计代理奖励，再根据这些回复在原始目标下出现的可能性进行调整。我们提出模型课程（CoM），这是一种替代方法，它让调查者针对目标的一系列修改版本进行训练，从容易表现出指定行为的版本逐步过渡到原始目标。在越狱发现中，训练从很少拒绝有害请求的目标版本开始，一旦调查者能可靠地从当前版本诱导出该行为，就推进到下一个更难的版本。我们在涉及 CBRN 材料、爆炸物和非法药物的诱导任务上评估 CoM，使用两个开放权重目标：gemma-4-31b-it 和 gpt-oss-120b。我们将其与 PRBO 以及不使用课程、直接在原始目标上训练的方法进行比较。当调查者被训练诱导单一行为时，CoM 比两种基线都更可靠地找到成功的越狱提示。当同时训练多种行为时，经 CoM 训练的调查者能够诱导出留出的行为，不过经 PRBO 训练的调查者成功率更高。我们的结果表明，对目标模型采用简单的课程是一种有前景的方法，可应对稀有行为诱导中的稀疏奖励问题。作者：Michał Burzyński、Noah T. Rossi、Shomit Basu、Andy Arditi 类别：cs.LG、cs