评估聊天机器人对总统行为判断的稳健性
原文：Robustness of Chatbot LLM Judgments of Presidential Actions and Hypothetical Reforms
聊天机器人越来越多地被咨询公共事务，其对政策的判断只有在具有鲁棒性时才有用。我们通过消费者聊天界面，在普通用户的设定下测量这种鲁棒性。在30天内，五种聊天机器人配置（Mistral、Gemini Flash、Claude Sonnet，以及两种努力程度设置的Claude Opus）每天被询问两次，对过去四届总统政府的40项行为及15项假设性改革对美国的长期影响进行评分，每项附带置信度和简短评论。判断具有鲁棒性：所有配置在政府平均分的符号和排名上一致，同一天询问的两种不同配置对同一行为给出相反符号的情况约占4%。不同天的回答差异大于同天回答的差异，但除服务本身发生变化的情况外，差异在一个月内缓慢增长。我们识别出三次此类变化，它们在界面中几乎没有或完全没有留下痕迹，却改变了判断。将评论视为检索任务，我们发现评论对每个条目具有特异性，且在不同运行和聊天机器人之间保持一致，词汇相似度和嵌入相似度一致。我们发布了包含16,500条判断的数据集。作者：Oleg Vasilyev 类别：cs.CL, cs.CY