提出离散扩散模型的ODE采样器
原文：An ODE-based Sampler for Discrete Diffusion Models
连续扩散模型的边缘分布可以由一个确定性常微分方程（ODE）复现，即概率流ODE，这为加速采样和一致性蒸馏提供了基础。本文探讨离散扩散模型是否存在类似的公式，并给出了肯定回答，引入了指数残差流（ERF）。我们的框架为每个token和位置增加一个连续残差变量来扩展离散状态。这些残差根据分段定义的ODE确定性演化，其向量场取决于当前离散状态以及所规定扩散模型的前向和后向速率矩阵。当残差达到零时，离散状态发生变化。我们证明了这种构造保持了原始扩散的边缘分布。我们推导了采样器的实用离散化方案，并将其专门应用于掩码扩散和均匀扩散。ERF的确定性轨迹支持一致性蒸馏，并在包括代码和文本生成任务在内的多种基准上取得了优于先前方法的实证改进。作者：Samson Gourevitch、Yazid Janati、Eric Moulines、Eric P. Xing、Alain Durmus。类别：cs.LG、stat.ML