发布重建与证明国际象棋历史的前沿模型基准
原文：RetroChessBench: A Benchmark for Reconstructing and Proving Chess Histories
GPT 6 Astra等前沿语言模型已对数学研究做出贡献，展现出强大的推理能力。然而，即使在由明确规则支配的任务中，严重的推理失败仍然存在。我们在回溯国际象棋中展示了这一点——这是纯推理的试验场，求解者需要重建合法历史并区分可能事件与必然事件。我们推出了RetroChessBench，一个包含12项任务的基准测试，涵盖精确长度构造、唯一终局和穷举答案集，配有参考答案、评分标准和终端奖励环境。在每项任务每种条件的两次试验中，GPT 6 Astra High在无工具情况下24次尝试中有22次未能给出所需的最终答案，使用代码执行时24次中有18次失败；平均终端强化学习奖励分别为14.75%和27.19%。这些示例揭示了错误的推理：失败的回复拒绝合法历史，并将暂时障碍视为永久障碍。在线回溯棋谱档案通常提供谜题和最终着法序列，但缺少详细推导过程。我们假设，网络来源训练数据中对这些缺失解释的有限接触导致了所观察到的推理失败。这质疑了前沿数学推理在多大程度上真正泛化到熟悉的解题模式之外。通用智能的主张需要证据表明模型能够将学到的原理迁移到少有示例的领域。作者：Tidor-Vlad Pricope 类别：cs.LG, cs.AI