类型平衡上下文学习用于增量命名实体识别
原文:Type-Balanced Contextual Learning for Incremental Named Entity Recognition
增量命名实体识别(INER)是信息抽取中的一项关键任务,重点在于在非结构化文本中依次识别新的实体类型。面对实体类型的持续涌入,INER面临两大重要挑战:普遍存在的灾难性遗忘问题,以及非实体类型语义的独特偏移问题。尽管基于伪标签的INER方法已被证明能有效应对这些挑战,但一个此前被忽视的问题随之浮现:有偏上下文问题。我们的分析表明,在新句子中,表示旧实体类型的词元的上下文关联,相比其在旧句子中的上下文,对新实体类型表现出明显更强的偏向。这种倾向加剧了旧知识的退化,同时助长了新知识的过拟合。为解决这一有偏上下文问题,我们提出了一种类型均衡上下文学习(TBCL)方法,其特点是句子对学习方案和上下文一致性损失。该方法通过上下文分析为INER提供了全新视角。在三个广受认可的数据集上的十种INER设置中开展的大量实验展示了TBCL方法的有效性,凸显了其在解决基于伪标签的INER方法固有的有偏上下文问题方面的能力。作者:Duzhen Zhang, Yahan Yu, Xiuyi Chen, Chenxing Li, Dong Yu 分类:cs.CL