Deogen自动生成政策推理基准测试
原文：Deogen: Automatic Benchmark Generation for Reasoning over Policies
语言模型越来越多地部署在受监管环境中，模型必须将给定规则应用于情境事实以确定裁决。对此能力（称为道义推理）进行基准测试仍然是昂贵且手动的过程，现有数据集大多为手工构建。本文提出 DeoGen，一种可扩展、自动化且可参数化的道义推理基准生成器。通过将政策规则自动形式化为一阶逻辑，我们可以构建捕获可能结果轨迹的决策树。树上的每条路径成为一个基准条目，每棵树相对于树深度产生组合数量级的条目。终止于叶子的路径蕴含一个裁决，而非叶子路径衡量模型在信息不足时弃权的能力。评估显示前沿模型在89-92%的情况下返回正确裁决。值得注意的是，在信息不足以声称裁决的条目上，即使明确指示在此类情况下弃权，性能仍下降（22-40%正确）。总之，DeoGen 提供了一种自动、可扩展且参数化的道义推理基准生成方法。作者：Sam Kouteili、William Liang、Keeran Murray、Adriana Zhou、Ramesh Viswanathan。类别：cs.AI、cs.LG