提出掩码扩散语言模型的置信锚定顺序残差解码方法
原文：Cord: Confidence-Anchored Order Residual Decoding for Masked Diffusion Language Models
掩码扩散语言模型（dLLM）的解码顺序会显著影响生成质量，然而常见解码器通常在整个生成过程中应用相同的揭示规则。置信度提供了一个强有力的默认选择，但它衡量的是某个位置当前能被多果断地预测，而非揭示该位置对后续解码有多大用处。我们提出Cord，一种轻量级的提示条件策略，将置信度解码保留为稳定参考，并通过生成方向、与已揭示上下文的邻近度以及双侧填充上的几何残差来学习何时以及如何偏离它。这些残差同时适应提示和不断演变的部分响应。Cord并非在每个解码步骤采样新的策略动作，而是每次rollout采样一个低维系数矩阵，从而诱导出完整的依赖于状态的揭示轨迹。这产生了直接从序列级奖励训练的上下文赌博机公式，无需步骤级信用分配或骨干网络更新。在三个dLLM和五个推理、代码及约束满足基准上，Cord将平均任务成功率从置信度解码下的32.0%提升至48.2%，并进一步优于最佳的逐领域固定残差。行为审计表明，学习到的残差在揭示局部性和双侧填充方面引起了显著的、依赖于任务的变化。Cord仅增加$0.53$M可训练参数，无需额外的骨干网络前向传播，仅产生5.39%的推理延迟开销。作者：Chengwei Zhou, Zhaoyan Jia, Massoud Pedram, Gourav Datta 类别：cs.CL,cs.AI