我们能信任 LLM 判断研究想法是否新颖吗？

我们能信任 LLM 判断研究想法是否新颖吗？今天我们发布 Old Ideas, Novel Problems，这是一项关于大语言模型评估科学研究想法新颖性可靠程度的新研究。除论文外，我们还发布了一个用于测试新颖性评判器的基准、数据和代码，以及一条研究人员可用于构建新评估集的自动化流水线。在 Ai2，我们一直在开发支持科学发现不同环节的 AI 系统。DataVoyager 帮助研究人员探索和分析结构化数据，AutoDiscovery 生成并测试假设，Theorizer 将大量文献中的证据综合为候选科学理论。与 Asta 一起，这些项目指向了能够帮助研究人员从理解先前工作过渡到提出、测试和完善新想法的系统。但生成研究想法只是自动化科学发现挑战的一部分。这些想法还需要贡献真正新颖的东西，这意味着这些系统需要一种方式来区分新颖方向与主要只是重新包装现有工作的方向。这一判断通常交给另一个 LLM——我们称之为新颖性评判器。新颖性评判器评估一个研究想法相对于先前工作是否新颖，可以单独评估，也可以与另一个想法比较评估。构建评判器没有标准方式；研究团队会选择模型、提示词、评估格式、推理预算，有时还会选择文献检索系统。这些选择可能实质性影响判定结果。然而，这些评判器往往只在人类撰写的论文上验证，而不是在它们实际要评估的 AI 生成想法上验证。我们的新基准结果表明，新颖性评估本身远不可靠。在六个 LLM 评判器——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——中，评估设置的看似微小变化会对相同想法产生截然不同的判断。在一项实验中……