TextSeal2实现无失真LLM水印并抗推测解码
原文：TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Memoryless Races
我们提出了TextSeal2，一种面向大语言模型的无失真水印，它在推测解码下仍能保持其信号：替换被拒绝草稿的token仍使用相同密钥进行水印标记，且接受率不变。它还保持了输出多样性，并且不增加可测量的推理延迟。其前身TextSeal通过抛硬币将每个token路由到两个密钥之一，从而在Gumbel-max方案中恢复多样性。这并非最优，因为检测器在不知道使用了哪个密钥的情况下对两个密钥的分数取平均。TextSeal2则将两个或多个密钥合并为单个虚拟密钥，并通过AutoMark的高斯Copula将其与新鲜噪声耦合。任意数量的密钥，包括公开共享的密钥，都可以通过这种方式合并而不会稀释检测效果。在推测解码下，TextSeal2通过额外一次指数竞争来验证带密钥的草稿，该竞争在草稿竞争的剩余部分上运行。由于无记忆性，该竞争复现了块验证，因此输出完全遵循目标模型。我们在三个LLM上评估了TextSeal2。在相同输出token多样性下，TextSeal2在$10^{-3}$的假阳性率下比TextSeal多检测出8到22个百分点的100-token答案，并与textGrain相当，同时无需后logits优化。在推测解码下，在相同接受率下，它分别比TextSeal和textGrain多检测出18和22个百分点的200-token答案。作者：Tom Sander, Pierre Fernandez, Itai Gat, Haiming Bao, Jiaxin Shi。类别：cs.CR,cs.AI,cs.CL