用自进化Agent评估SWE-bench类数据集质量
原文：Well-Specified and Well-Tested? Assessing SWE-bench-Style Datasets with a Self-Evolving Agent
大语言模型（LLM）在软件工程（SE）任务上展现出强劲性能，这推动了对高质量数据集的需求，以支持可靠的训练和评估。SWE-bench风格的数据集（SWE数据集）被广泛用于评估基于LLM的编码智能体在真实软件问题上的表现，其中任务清晰度和测试覆盖率直接影响实例是否可解和可验证。然而，现有SWE数据集中仍存在质量问题，而人工标注成本高昂且劳动密集，这推动了基于LLM的标注方法。现有方法通常依赖静态的、过于通用的评分标准，限制了其处理多样化和细微场景的能力，且往往产生较高的假阳性率。相比之下，人类标注者利用积累的经验做出上下文感知的判断。受此启发，我们提出了ExLabel，一个基于LLM的、自进化的、经验引导的助手，用于SWE数据集中的任务清晰度和测试覆盖率评估。ExLabel维护一个不断进化的经验库，将跨实例知识提炼为稳定而自适应的判断标准，并复用相关经验来指导新实例的评估。为了系统评估，我们通过清理SWE-bench和Multi-SWE-bench中的人工标注，构建了SWE-TQ——一个涵盖八种编程语言的新基准。使用三种骨干LLM的实验表明，ExLabel在所有设置下均取得最佳F1，在Python/多语言子集上，任务清晰度和测试覆盖率评估分别相对最佳基线提升了44.2%/49.9%和24.0%/18.4%。此外，在经ExLabel过滤的SWE-rebench数据上微调的编码模型在SWE-bench Verified上解决了66.2%的问题，比在最佳基线过滤数据上训练的模型高出14.5%。作者：Zhonghao Jiang, Xuyang Zheng, Yanfu Yan, Zhongxin Liu, Lingfeng Bao 类别：cs.SE,cs.AI,cs.CL