评估LLM在欠明确财务查询上的表现
原文：Right Numbers, Wrong Questions: Evaluating LLMs on Underspecified Financial Queries
金融助手回答的问题听起来是事实性的，但实际取决于用户未明说的内容：某个数据指标衡量的是什么、指的是哪个产品变体，以及投资者的具体情况和适用的规则。忽略这些的助手仍然可以用其数据中的真实数字作答，但回答的却是另一个问题。我们称之为“框架坍缩”。我们在印度共同基金中研究这一问题，因为那里的产品变体和税收规则有正式定义，因此每种解读下的正确答案都可以计算出来。一项研究测试每一项挑战。给定一个标签含糊的数据，模型会使用它，且往往沿用用户的标签。当所有备选都被标注时，它们会全部列出，但排版决定了哪个排在前面。缺少关于投资者的事实信息时，较弱的智能体会假设一个默认值或过时的税收规则；要求提供该事实并不能保证其被使用。由于这类答案与其数据相符，针对数据的检查会通过它们。AI评判员只有在被告知每个字段含义时才能发现标注错误的数据，而且仍会通过那些悄悄选择了另一种解读的答案。我们展示这些失败如何产生，而非出现频率，并提出针对金融助手的控制措施。作者：Radha Yadav, Prasanna Devadiga, Peeyush Mishra, Apoorv Singh 分类：cs.AI,cs.CL,q-fin.GN