CopyLoop加速循环Transformer解码
原文：CopyLoop: Fast Looped Transformer Decoding via Context Copying and Shallow Screening
循环Transformer通过重复应用共享块来增加计算容量，但其循环深度使得传统的全深度解码代价高昂。虽然现有的推测流水线通过在不同深度处理连续token位置来加速生成，但它们通常受限于顺序解码开销。我们提出CopyLoop，一种免训练的解码算法，将低成本上下文复制提议与浅层筛选和连续循环调度相结合。CopyLoop不是逐步生成，而是从重复上下文中提出多token后缀。然后它在浅层循环深度提前评估这些后缀，以高效过滤错误分支，在较早的块仍在向全深度验证推进时并发处理较新的块。我们在Ouro、Raven和Huginn系列的六个模型检查点上评估CopyLoop，涵盖代码生成和多步数学推理。CopyLoop在Base模型上实现了相比全深度自回归解码2.98倍至10.70倍的解码加速，在Thinking模型上实现2.74倍至3.52倍的加速，在所有评估任务上持续优于或接近匹配所有竞争基线。此外，消融研究证实浅层筛选与连续调度之间存在强协同效应，我们的分析表明CopyLoop仅需轻量级模型校准，并在具有可复用上下文的更长生成中产生更大加速。作者：Wenyu Du、Stephen Chung。类别：cs.CL、cs.AI