IndicIPR-QA发布印度知识产权法抽取式问答基准
原文：IndicIPR-QA: A Benchmark for Extractive Question Answering on Indian IPR Laws
基于法律条文的抽取式问答（QA）是自然语言处理（NLP）中的一项挑战性任务，尤其是在法律体系复杂、资源匮乏的场景下。它要求答案精确且有法律依据。然而，据目前所知，尚无现有的抽取式QA基准能够覆盖全部七部印度知识产权（IPR）法案并从法律条文中提供精确的答案片段。本文提出了IndicIPR-QA，一个面向印度知识产权法的抽取式QA基准。该数据集包含来自七部法案的1,116个法律条文语境中的4,462个问答对。问题和答案使用GPT-4o生成，并通过九项自动质量检查、单模型和多模型LLM评估以及200对人工审核进行验证。按章节划分可防止训练集、验证集和测试集之间的源语境重叠。进一步分析考察了答案片段长度、词汇重叠度以及整个语料库和各部法案中的多子句结构。BM25在token级F1分数上达到20.21，而微调后的InLegalBERT在统一的滑动窗口推理协议下达到85.02。BM25（20.21 F1）与InLegalBERT（85.02 F1）之间的巨大性能差距表明，简单的词语匹配不足以回答这些法律问题。性能在七部法案之间也存在差异，表明答案抽取性能存在显著差异。