设计可审计的LLM辅助定性主题分析工作流
原文：Designing an Auditable LLM-Supported Workflow for Qualitative Thematic Analysis
大语言模型（LLM）为规模化定性分析提供了新的可能，但现有应用在如何将定性方法转化为计算流程方面往往缺乏方法论透明度。本文提出了一种可审计且保护隐私的归纳式与潜在主题分析（TA）计算操作化方案。本文首先从 TA 的方法论要求和基于 LLM 推理所引入的条件出发，推导出五项设计原则：保留解释性上下文、维持经验材料与分析产出之间可追溯的关系、显式表示分析构念与推理过程、将 LLM 推理限制在解释性任务上，以及支持保护隐私的本地部署。其次，本文给出了一个两阶段工作流的概念验证，通过将解释性 LLM 推理与确定性流程控制相结合来操作化这些原则，生成编码、分析依据、主题及主题描述，同时保持与原始材料的显式关联。第三，本文提出了一个评估框架，结合与人工主导 TA 的结构对比以及独立专家对分析质量的评估。评估在半结构化的丹麦语访谈转录文本上进行，结果表明该工作流生成的编码级产出在覆盖率上与人工标注大体相当，分析依据获得较高评分，同时生成了更压缩的主题结构，表现为主题数量更少、范围更宽。研究结果表明，通过模块化工作流实现可审计的 LLM 支持 TA 是可行的，该工作流可扩展至更大数据集、适配不同 LLM，并支持跨研究领域迁移，领域适配主要只需调整提示策略。作者：Nadia Jul Jeldtoft, Tariq Yousef 分类：cs.AI,cs.SE