研究大模型多位数乘法错误的机制
原文："Close enough?" An investigation into multiplication errors in LLMs
大语言模型（LLM）经常在多位数算术上失败，但支配这些失败的底层机制仍然鲜为人知。虽然近期工作表明加法错误遵循一种定位在进位边界附近的“噪声量化”模型，但该框架是否能推广到乘法仍是一个开放问题。在本工作中，我们在涵盖不同操作数长度的16,991个问题的数据集上评估了多个小型基础LLM的乘法能力。我们表明乘法错误不符合加法式噪声量化模型。相反，我们在小型Qwen模型中发现了一种新颖的错误模式：低阶列中的错误主要保持奇偶性。反之，高阶数字错误则偏向于差一进位失败。我们的发现表明，LLM中的算术计算依赖于独特的、多周期的内部表示，其中奇偶性比精确数字身份被更稳健地跟踪，为Transformer中的数值推理提供了新的机制性见解。作者：William Bolton, Bezawit Tilaye, Huw Day 类别：cs.AI