提出角色耦合分词法改进像素空间生成Transformer
原文：Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
像素空间生成Transformer通常为每个图像块使用一个token，因此捕捉更精细的细节需要更多token，并使全局注意力越来越昂贵。我们观察到更精细的细节不一定需要更多的全局通信：低频结构受益于全局交换，而高频细节可以在局部建模。基于这一洞察，我们引入了SpecSlot，一种像素空间整流流Transformer，将输出细节与全局注意力序列的长度解耦。SpecSlot将每个空间锚点扩展为多个槽位，每个槽位分配一个不相交的DCT系数频带；这将锚点密度与频谱细分分离。每个锚点只有最低频槽位参与全局注意力，而所有槽位在局部交互。这允许模型增加频谱细节而不扩大全局序列。空间头进一步对频谱预测添加局部校正，而生成状态、目标和损失保持在像素空间中。在ImageNet-256上，SpecSlot在收敛更快的同时达到了与FLOPs匹配的JiT对照组相当的最终FID。在ImageNet-512上，它以少3.9%的FLOPs将FID相比对照组提升了2.84，并以低38.2%的成本将差距缩小到仅比JiT-B/16高0.69 FID。在文本到图像生成方面，SpecSlot在DPG-Bench上以低40.6%的前向成本超过JiT-B/8达1.06。作者：Jiongfan Yang, Weichen Fan, Haiwen Diao, Zhongang Cai, Ziwei Liu 类别：cs.CV,cs.AI,cs.LG,cs.NE