基于时间线证据检验临床时序假设
原文：Testimony from Timelines: Evidence-Grounded Significance Testing of Temporal Clinical Hypotheses
问语言模型产品召回后销量是否会下降，或者疫苗后一种副作用是否会跟随另一种出现，它会用一句流畅的话回答，读起来像一个发现，但背后没有任何检验。关于事件在众多案例中如何展开的断言充斥着网络，每一个都是一个时间假设，只有对正确记录进行显著性检验才能定论。验证者必须指定零假设、选择检验方法并决定哪些记录与假设相关，而这些选择中的任何一个都可能出错，结论却仍然正确。然而，语言模型数据分析的基准只对结论评分，相关数据是直接给出的。我们在健康领域研究这一问题——错误判断代价高昂——并提出了STRATA，一个对通往结论的每一步决策都进行评分的基准：8,735个关于疫苗不良事件报告临床时间线的假设，配有金标准计划、证据集、p值和结论，这些均在已发布的代码手册下推导，并由确定性预言机复现。我们还提出了ART（阐述、检索、检验），一种分阶段范式，将每个决策暴露为可检查的输出。使用五种模型配置的大量实验表明，系统主要在选择哪些记录算数上失败，这种结论-证据差距仅靠准确率无法揭示。ART弥合了大部分差距，使一个31B开源模型在相同范式下与前沿模型的差距缩小到0.01以内；前沿模型在获得代码手册后即可成功。作者：Chengyang He、Wenlong Zhang、Koduvayur Subbalakshmi、Ping Wang。类别：cs.CL、cs.IR