发布Entropic Scree脏数据信号诊断工具
原文：How to assess if there is a strong signal in your dirty data [Project]
我来分享这个新的表格数据诊断工具（Entropic Scree）。它可用于估计高维真实世界脏数据集的以下属性：信号的信息容量（即帮助你评估信号是否足够强，能否在数据集特有噪声中存活下来）；整体信噪比（信号容量与特有容量之比）；内在秩；提供一张探索性地图，用于识别相互解耦的变量子网络；线性充分性（即数据集是否符合标准 PCA 的线性假设？）。不同于传统 PCA 变体评估线性方差、秩顺序或欧氏距离，这一新方法评估一种变换后的互信息度量。相对于这些基线，它对强参数或距离假设的依赖更小，因此适用范围更广。它也可作为 From Garbage to Gold 框架所探讨理论的一个实用诊断工具，该框架描述了未整理、易出错的数据何时以及为何可以直接用于构建准确的预测模型。目前有一篇预印本呈现了完整的技术细节，Python 和 R 包也将很快发布。不过现在，原始函数已经在 R 中可用（见下方的快速入门 R 函数代码）。Entropic Scree 预印本：https://doi.org/10.5281/zenodo.22028087；Entropic Scree GitHub：https://github.com/tjleestjohn/entropic-scree；From Garbage to Gold 预印本：https://arxiv.org/abs/2603.12288。如果你试用了，欢迎告诉我效果如何……当然也欢迎任何问题或评论。快速入门 R 函数代码：要加载函数，将以下内容复制粘贴到你的 R 控制台，然后按回车。1. 定义 GitHub 上原始函数脚本的直接 URL：url <- "https://raw.githubusercontent.com/tjleestjohn/entropic-scree/main/Entropic.Scree.v1.0.0%20-%20ENLI.R" 2. 定义你要给文件起的名字。