校准注意力令牌剪枝提升多图合成效率
原文：Calibrating Attention-Based Token Pruning for Efficient Multi-Image Synthesis in UMMs
统一多模态模型（UMM）实现了强大的多图像合成能力，但长视觉上下文带来大量计算开销。虽然token剪枝提供了加速推理的直接途径，但现有方法主要从理解任务中移植而来，存在参考图像探索不足、条件引导混乱以及池化引起的歧义等问题，从而降低生成质量。为解决这些问题，我们提出CATP——首个专为UMM生成量身定制的免训练上下文压缩方法，它校准了通用基于注意力的Token剪枝的差异，以实现更好的质量-效率权衡。具体而言，在去噪过程中独立逐层剪枝的基础上，我们引入引导一致性剪枝（GCP）以同步条件分支间的剪枝决策，以及泰勒校准注意力度量（TCAM），为池化引起的偏差推导有理论依据的二阶校正。此外，快速评分算子（FSO）将校准融合到分块在线Softmax中以降低剪枝成本。在代表性UMM和基准上的大量实验表明，CATP持续优于最先进的token缩减方法，实现高达2.09倍的注意力核心加速。作者：Zimeng Wu, Qijian Tian, Penghui Du, Changqian Yu, Jiaxin Chen 类别：cs.CV