DECIDE框架量化数据分析决策重要性
原文：Pinpointing Pivot Points: The DECIDE Framework for Data Analysis Decision Importances
在数据科学生命周期中，人类做出的判断决策可能会改变从数据中得出的结论。独立分析师在面对相同数据时往往会做出不同选择，导致结果出现通常难以接受的差异，并加剧了各科学学科中持续存在的可复现性危机。智能体工具的快速采用有可能进一步放大这一危机。已有若干方法通过遵循相同策略来应对这种差异：在不同分析决策组合下重复分析，并检查结果的分布。示例包括多宇宙分析、规格曲线分析和效应振动。更广泛地说，可预测性-可计算性-稳定性（PCS）框架评估数据科学生命周期中有记录的判断决策如何影响结论，其中可预测性作为一种现实检验，确认模型捕捉到了信号。每种方法都会产生一个“多宇宙”对象。虽然结果分布反映了结论的整体变异性，但估计每个单独决策的影响需要额外工具。一种常见的启发式方法是训练一个模型从这些决策中预测结果，并将其系数或特征重要性作为每个决策影响的代理。尽管这种策略在某些情况下可能有效，但它假设模型被正确设定并能准确预测结果，而我们表明这并非总是如此。在这项工作中，我们引入了DECIDE，一个无模型框架，从合理决策空间中的实际结果量化每个决策的重要性，在设计上避免了可预测性问题。我们通过将其应用于真实世界的多宇宙分析来证明DECIDE的有效性。我们进一步提供了据我们所知首个多宇宙的正式定义。作者：Zachary T. Rewolinski, Jan Simson, Frauke Kreuter, Christoph Kern, Bin Yu 类别