研究揭示AI代理撰写论文中数字误归属问题
原文：Beyond fabrication: Misattributed numbers in papers written by AI research agents
验证AI智能体所写研究中的数值声明是一项重要但具有挑战性的问题。近期基准显示，许多智能体撰写的论文未能通过完整性检查，但此类判定通常由单一 LLM 评审给出，只识别失败而不解释其性质，且现有检查要么测试论文的内部一致性，要么测试某个报告值是否出现在智能体输出的某处。我们重新分析了近期一个AI研究智能体公开基准（九个智能体、十五个开放研究问题）中全部540条已发布判定，并人工标注了来自18份提交的256条数值声明。失败集中在论文与底层工作之间的对齐问题，而非公然作弊；约五分之四的无支撑声明对应智能体自身文件中来自错误实验、指标或运行的值。我们引入一种确定性的声明到证据检查器，评估周围上下文是否标识了所声称的结果，并针对数值诱饵对每条声明进行校准。其规则在标注前固定，对盲标注者达到超过90%的精确率（85条中78条；Cohen's kappa = 0.89），但仅能验证部分声明；大多数无法验证的声明仍可追溯，因此验证失败并非虚假的证据。给定相同证据的 LLM 验证器能找回更多可追溯声明，但接受的误归因声明约为其三倍，因此两者最好结合使用。应用于99份提交后，该检查器揭示了不同智能体之间可追溯性的巨大差异，而来自另一供应商的第二评审在保持官方智能体排名的同时让两倍多的论文通过。这些发现推动了对AI产出研究进行溯源优先的审计。作者：Mosab Alfaqeeh、Omar Hourani、Muath Hourani、Hashem Alfaqeeh。类别：cs.AI、cs.CL、cs.DL