掩码扩散模型在条件混合下的端到端保证
原文：End-to-End Guarantees for Masked Diffusion Models under Conditional Mixing
掩码扩散模型在掩码交叉熵上训练去噪器，并通过并行取消多个位置的掩码来生成。现有的MDM采样界假设去噪器精确，或对其误差不加控制，而训练界仅覆盖模型训练时所使用的掩码分布。我们提出了在条件混合（CM）下针对学习去噪器的端到端保证：平稳源（例如带底阶r马尔可夫源和双边Doeblin隐马尔可夫源），对于这些源，揭示远处可见token使被掩码token的后验平均而言随距离呈指数级微小变化，相关长度为τ_c。我们证明，在任何掩码分布下训练的经验风险最小化器，在该分布上达到每token超额ε'，所需训练序列数为ε'的负O(τ_c log|V|)次方，且与序列长度N无关——当每个解码调度在其自身加权下训练去噪器时，一份样本预算即可服务于所有解码调度。我们进一步证明，该指数的阶Θ(τ_c log|V|)在常数范围内是极小极大最优的；更高效的速率需要额外结构。据此，我们在膨胀调度下将端到端KL界为KL(π‖p_alg)≤ε+Nε'，其中去噪步数为T=O(τ_c log(N|V|/ε))，而在显式CM源上固定随机顺序需要Ω(N)步。最后，我们证明块自回归采样器在块间链接时不增加误差，并且阶r源上的Λ循环阶r消息传递类可实现多项式样本复杂度，其近似误差每循环改善，直至在Λr≈τ_c log(1/ε')处饱和。在已发布和重新训练的模型上的实验支持了我们结果的定性预测。作者：Fareed Sheriff 类别：cs.LG