提出线性递归低精度量化的功能不变性方法LinQuant
原文：LinQuant: Functional Invariances for Low-Precision Linear Recurrences
线性递归正逐渐成为大语言模型中softmax注意力的实用替代方案，既出现在独立架构中，也出现在混合架构中。然而，尽管这类模型快速涌现，其低精度推理的发展程度仍远不及softmax注意力。在预填充阶段，分块并行算法将大部分递归计算转化为稠密矩阵乘法，这为低精度执行提供了自然路径。但直接以原始形式对这些运算进行量化可能十分脆弱。在本工作中，我们识别出若干功能不变性，这些不变性在保持全精度计算的同时，使操作数更适合量化。基于这一观察，我们提出了LinQuant，一个基于七种此类不变性的低精度递归预填充框架，包括旋转、对角重缩放以及递归衰减和写入因子的替代放置方式。我们推导了这些变换在涵盖线性、门控和delta规则更新的常见递归族中何时保持有效，并证明它们为提升低精度精度提供了互补的自由度。最后，我们将该框架转化为生产应用，通过将适用的不变性增强到SSDi8——一个现有的Mamba-2低精度预填充流水线中。LinQuant在Mamba-2 1.3B、2.7B和8B以及Nemotron-H 8B上，在匹配延迟下改善了困惑度，展示了基于不变性的量化对递归模型的实际效用。作者：Neehal Tumma, Philipp Nazari, Rohan Cherukuri, Daniela Rus, T. Konstantin Rusch 类别：cs.LG