用大模型探索医学检查项目难度相关模式
原文：What Makes Medical Examination Items Difficult? Using Large Language Models to Explore Patterns Associated With Empirical Item Difficulty
关于医学题目难度的研究主要集中于预测，而非识别与经验难度相关的可解释模式。本研究使用经验难度标签引导大语言模型（LLM）归纳难度评分标准，并考察评分标准引导如何影响LLM的难度判断。利用美国医师执照考试（USMLE）和医师助理国家认证考试（PANCE）的训练题目及其经验难度估计，Claude Opus 5分别为绝对难度判断和成对难度判断归纳了独立的评分标准。所归纳的评分标准均未将表面特征（如题干长度、选项数量或图片）视为主要难度来源。两项考试中均出现了若干模式，包括线索汇聚、误导性线索和选项竞争，尽管其具体形式有所不同。在PANCE评分标准中，检索无法从题干推导的知识尤为突出，而USMLE评分标准更强调整合多个临床线索。我们在留出题目上比较了商业和开放权重LLM在无引导和评分标准引导条件下的表现。评分标准引导改变了模型使用难度量表的方式，但并未持续提升表现。在绝对判断中，引导鼓励更广泛地使用量表，并总体改善了粗粒度一致性，但未持续改善排序。在成对比较中，其效果因模型和考试而异，且判断对呈现顺序变得更加敏感。这些发现表明，标签引导的评分标准归纳的价值可能更多在于从经验难度数据中生成可解释、可检验的假设，而非可靠地改善难度判断。作者：Xiaomeng Xiong, Marcus Walker, Yanlin Jiang 类别：cs.CL,cs.AI