用模板扩展多语言安全对齐训练覆盖低资源语言
原文：How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates
大语言模型的安全对齐主要集中在英语上，多语言代表性有限，尤其损害了低资源语言的性能。相关的开放训练数据集往往规模有限，或者不遵循区域本地化的有害主题，无法将对齐范围扩展到不同文化之外。我们提出了一种可扩展的基于模板的增强流水线，用于生成大规模多语言拒答和良性语料库，从有害提示中提取安全模板，翻译后用品具有文化真实性的实体（有害和良性）填充槽位。因此，我们发布了MSafeTemp，一个经过验证的涵盖60种语言的语料库，可用于多语言安全对齐和评估。利用该数据集，我们展示了仅英语评估会误判多语言安全性：对于若干模型，在英语中失败的攻击一旦翻译后便成功，而文化本地化变体则暴露了仅靠翻译无法发现的进一步失败。我们还确认，通过模板增强安全训练数据可以实现更高的多样性和对齐质量，从而在英语之外提升安全性能。MSafeTemp及相应流水线旨在促进为代表性不足的文化开发更安全、更负责任的模型的研究与开发。