基于主动LLM反馈的量子启发式排序聚合方法
原文:Quantum-Inspired Pairwise Ranking Aggregation via Active LLM Feedback
在多检索器场景下,排序聚合是现代检索与RAG系统中一项强大但尚未被充分探索的技术。我们提出LLM-IRA,这是量子启发式交互排序聚合框架首次扩展到文档重排序领域。该方法仅利用大语言模型(LLM)对高分歧文档对进行成对判断,以原则性的交互方式学习融合权重。最终排序是对分数进行简单、超快速的点式线性融合,无需完整的成对矩阵或昂贵的列表式提示。在BEIR基准和TREC Deep Learning赛道上,使用开放权重指令微调评判模型(Llama-3.1-8B-Instruct)的实验表明,LLM-IRA在6个评估基准中的5个上达到或数值上超过强静态融合基线。我们报告了两种权重更新变体:动量混合和完整累积历史重拟合,二者共同达到统计显著性(Wilcoxon符号秩检验,p 作者:Quan Mai, Susan Gauch, Gibson Nkhata 类别:cs.IR,cs.CL