研究评估谷歌AI概览医疗信息引用质量与准确性
原文：Does the Citation Matter? Quality, Grounding, and Physician-Rubric Accuracy of Google's AI Overviews for Medical Information
Google的AI Overviews（AIOs）是用户在网上搜索时遇到的第一个结果，它将选择和评估来源的工作从用户转移到了Gemini身上。这对健康信息可能尤为重要，因为Google的传统算法旨在优先呈现高质量来源，而不准确的信息会带来健康风险。我们评估了3,611个基准健康问题，在来源选择和质量方面将每个AIO与该问题的前五个传统搜索结果进行比较。我们还评估了AIOs的陈述在其引用来源中的溯源情况，以及AIOs对照医生编写的评分标准的准确性。AIOs在96.4%的问题中出现，但其依据的证据与传统搜索存在显著差异：前五个结果中仅有44.4%被对应的AIO引用，AIO反而过度呈现了商业健康出版商（如WebMD、Healthline），而牺牲了学术和政府来源（如Cleveland Clinic、National Health Service）。AIO引用的页面在六项公认可信度标准中的四项上得分低于传统搜索结果。AIO陈述与其来源的溯源质量较差：在校正分类器误差后，估计有56.7%的引用陈述得到了其引用页面的支持，另有20.8%的陈述是完全没有任何引用的 factual claims。当按照医生的评分标准对AIOs进行评分时，它们仅获得所有可用分数的38.2%（例如准确性54.2%，完整性21.6%），而在医生评分标准预期存在特定不准确或潜在有害陈述的AIO子集中，22.2%的AIO包含了有害内容。值得注意的是，AIOs的准确性与其陈述的溯源无关。我们建议对用户进行AIO素养干预，并至少将AIOs置于Google自身健康排名标准的约束之下。作者：Sam Agnoli, Brigid Reilly, Lily Barna, Emőke-Ágnes Horvát 分类：cs.IR,cs.CL,cs.CY,cs.HC