ATLAS-Bench：面向本地搜索的智能体工具使用基准

可靠的本地搜索对于LLM智能体至关重要，它们需要在给定时间和地点找到满足用户需求的地点，以支持日常决策和更长远的规划。然而，现有基准在覆盖搜索结果的强制性要求满足度、偏好考量，以及基于地点属性和评论的事实性与体验性判断方面存在不足。我们推出ATLAS-Bench，这是一个覆盖三个区域、包含1200条查询的基准，基于平台的地点属性、评论和现有用户画像从真实搜索事件扩展而来。每条查询区分强制性要求与偏好、事实条件与主观判断，并附有支持证据和用于核查每项要求的标准。查询通过迭代断言检查和跨模型评审进行验证。我们还推出ATLASBox，一个配备搜索工具和固定兴趣点（POI）知识库的标准化评估环境。给定查询、时间戳和地点，智能体搜索地点属性和评论，以推荐有证据支持的选项，或报告没有地点满足所有强制性要求。我们评估答案质量、轨迹质量和执行成本。在11个模型的14种配置中，GPT-6-Luna在返回推荐中的约束满足率最高（71.5%），事实准确率也最高（95.6%）。然而，在可满足查询中，它至少返回一个可接受推荐的比例低于GLM-5.3（67.3%对85.3%）。这些结果凸显了在满足个体要求的同时为各查询提供可用推荐所面临的挑战。作者：Keyun Zhang、Dapeng Yin、Fanfu Wang、Shuang Lang、Zhenyu Zhu。类别：cs.AI