研究质疑翻译基准评测语言与知识混淆
原文：Gold vs.~Translation: Are We Measuring Language, Knowledge, or Locality in Translated Benchmarks?
MMLU等英文原始基准的翻译版本被广泛用于评估非英语语言的大语言模型，但这些版本是否测量了与原生创建的基准相同的构念仍不清楚。我们将其框定为代理效度问题，并在五种北欧和波罗的海语言的七个配对中，将DeepL翻译的MMLU代理与六个原生基准进行比较，每个配对评估29个模型。除排名一致性外，我们还测试增量代理效度：在控制模型规模和语言熟练度后，翻译分数是否对原生表现具有预测价值？代理效度在不同基准配对间差异显著。对全部七个配对应用相同的鲁棒性标准，我们发现四个稳健效应、两个边缘效应和一个零结果。最强证据出现在课程重叠的基准上，如Skolprov（$ΔR^2$=.128，95% CI [.038,.253]），而翻译的MMLU对SwedishFacts中瑞典特定事实知识没有显著的增量价值（p=.242）。由于SwedishFacts也是唯一的开放式基准，我们无法完全分离本地内容和响应格式的影响。总体而言，结果显示出清晰的模式：当翻译基准的源内容与原生评估目标重叠时，它们提供更好的代理；而本地锚定的知识则较难被可靠捕捉。作者：Klaudia-Doris Thellmann, Bernhard Stadler, Dan Saattrup Nielsen, Michael Färber, Jens Lehmann 分类：cs.CL