大规模自动化分类体系构建与评估框架
原文:TaxCE : A Framework for Automated Taxonomy Construction and Evaluation at Scale
将非结构化反馈文本组织成分层分类体系是NLP中的一项基础性挑战,尤其是在评论、转录文本和调查等大规模、多形式反馈涌入的领域。现有方法要么只能产生浅层层级结构,要么忽视长尾主题,要么缺乏严格的评估框架。我们提出TaxCE,一个全自动化框架,通过将语料内容逐步压缩为可操作的片段、去重后的语义单元以及带定义的细粒度主题,从原始文本构建多层级分层分类体系,随后以自底向上的方式组织成具备语料依据的层级结构。我们还引入了三个基于语料的评估指标——排他性、完备性和粒度(EEG),并将其整合进指标在环的迭代优化机制中,用于诊断缺陷并施加针对性修正直至收敛。大量实验表明,TaxCE持续超越涵盖经典主题模型、神经网络方法和基于LLM方法的现有基线,在排他性、完备性和粒度上分别比最强基线平均提升11.8、20.5和15.7个百分点。人工评估进一步证实了其分类体系在质量、可操作性和可导航性方面的优越性。作者:Sandeep Sricharan Mukku, Albert Aristotle Nanda, Rohit Pyati 分类:cs.CL