研究用户查询欠明确对深度研究Agent的影响
原文:How Specific Do I Need to Be? Effects of User Query Underspecification on Deep Research Agents
深度研究智能体(DRA)通过长程推理、搜索和文献综合,为复杂的领域特定问题提供长篇答案。这类智能体通常在完全明确的用户查询上进行训练和评估。然而,现实世界中的用户查询往往不够明确。我们提出了UNDERSPEC-DR,一个用于系统评估欠明确查询如何影响智能体最终答案质量和中间搜索行为的框架。在我们评估的三个DRA中,欠明确性大幅降低了DRA答案满足用户信息需求的程度,尽管这些答案仍然基于所引用的证据。我们对中间搜索行为的分析提出了一个可能的解释:DRA会进行更广泛的搜索,对原始用户查询的利用较少,而更多依赖其在训练中学到的先验,这可能与用户意图不一致。我们的发现揭示了当前DRA对欠明确用户查询的脆弱性,并为未来构建能够主动识别何时需要额外用户输入以可靠完成深度研究任务的DRA提供了参考。作者:Yi Wen, Xiangjue Dong, Bingxuan Li, Hangxiao Zhu, Leo Zhicheng Liu 类别:cs.CL