研究人员发现可将 LLM 训练算力减少 15% 而不牺牲质量的方法
EMNLP研究提出LIMe方法，LLM训练算力降15%不损质量
原文：Researchers Discover a Way to Reduce LLM Training Compute by 15% Without Sacrificing Quality
在目前于匈牙利举行的 A* 会议 EMNLP 2026 上，来自 T-Tech 的研究人员展示了 LIMe，一种能够以约减少 15% 算力的方式训练语言模型而不影响质量的方法。在传统 Transformer 中，每一层仅依赖前一层的隐藏状态，这意味着所有上下文信息都必须通过它传递。作者证明这会产生表征坍缩的压力：token 之间变得越来越相似，它们的区分特征逐渐消失，模型质量因此受损。LIMe（Layer-Integrated Memory，层集成记忆）是注意力机制的一种轻量级扩展。它利用每层已经维护的键值缓冲区，并引入针对每个注意力头和每层的可学习路由权重。这些权重允许注意力头不仅从紧邻的前一层检索和组合表征，还可以从更早的层中检索。隐藏状态大小保持不变，同时重用先前计算的信息。在约十亿参数的模型实验中，LIMe 在使用减少 15% 算力的情况下达到了与基线 LLaMA 相同的训练损失。该方法在语言建模和多步推理基准上也优于竞争方法。最显著的改进出现在合成算术任务和深度更大的架构中。作者还报告称，LIMe 在值向量中产生更高的熵和更好的 token 可分离性，表明它有效缓解了底层的表征坍缩问题。对学习到的路由权重的分析进一步揭示，模型系统地重用了局部和长距离特征。论文：https://arxiv.org/abs/2502.09245 官方实现：https://github.com/corl-team/lime 由 /u/ChampionshipLimp1749 提交 [链接] [评论]
🖼 相关图片
