论文探讨语言模型数据归因的设计空间
原文：Elucidating the Design Space of LM Data Attribution
语言模型（LM）的数据归因方法通常通过事实检索等下游任务进行评估。然而，现有评估同时改变多个数据集属性，导致无法准确判断归因算法失败的原因。为了诊断这些失败，我们探索了LLM数据归因的设计空间，主要聚焦于评估环节。我们引入了受控归因基准（CATT）用于事实溯源，在该基准中我们在完全虚构的知识上微调LLM，为归因提供明确无误的真实标注。这种合成设置使我们能够系统地每次只改变一个数据集配置，例如文档冗余度和词汇干扰项。通过这种可配置的评估，我们证明冗余和干扰项会持续降低归因性能。我们没有提出新的估计器，而是考察了两个尚未充分探索的设计选择：用于计算梯度的损失函数，以及如何将逐token归因分数聚合为文档分数。我们发现训练文档中真正的因果证据高度局部化，但标准方法通过对整个文档的归因分数取平均，将这些证据稀释为噪声。我们发现，用负对数几率梯度替代标准交叉熵损失梯度，可以将关键token从其他无信息token中凸显出来。然后我们仅聚合最高token分数，在我们的诊断基准上，多个基线的真实标注召回率提升了35至72个百分点。负对数几率校正还可以推广到FTRACE-TREX，在我们测试的每种方法上将反事实重训练性能提升最多4.9倍。作者：Steven Yu, Sheng-Yu Wang, Kimia Hamidieh, Antonio Torralba, David Bau 类别：cs.CL