扩散模型成员推断的跨时间难度校准
原文：Difficulty Calibration Across Time for Membership Inference in Diffusion Models
现代扩散模型在包含受版权保护或私人图像的海量数据集上训练。成员推理攻击（MIA）通过测试给定图像是否在模型训练集中来应对这一问题。标准方法根据图像的重建损失进行评分，并将低损失图像标记为成员。这往往失败，因为有些图像本身就比其他图像更容易重建，因此一张简单的未见图像可能比一张复杂的训练图像获得更低的损失。难度校准将记忆性与图像本身的难度分离开来。我们展示了如何沿两个时间轴进行校准：训练时间和扩散时间。首先，在训练时间维度上，我们引入了参考模型校准（RMC），将微调模型的损失与早期检查点进行比较。这能干净地分离出新记忆的数据，即使没有文本描述也能实现近乎完美的审计。由于早期检查点并不总是可用，我们接下来提出了时间自校准（TSC），仅使用单个模型在扩散时间上进行校准。我们的关键观察是，图像的难度在噪声水平上持续存在，而记忆性则在时间上是局部化的。通过将目标时间步的损失与同一模型相邻时间步的损失进行比较，TSC利用模型自身的轨迹来衰减图像难度。在实验中，我们的方法大幅超越了现有最优方法，并且与大多数现有攻击不同，能够泛化到不同的模型参数化方式，如$x$、$v$和$ε$预测模型。代码见 https://github.com/MichaelJoseph777/TSC。作者：Michael Joseph, Yedid Hoshen。类别：cs.CV,cs.CR,cs.LG