研究Jev查询原语间的跨原语一致性
原文：Cross-Primitive Consistency in Jev
Jev通过类型化查询原语使大语言模型（LLM）能够高效决策，允许同一语义状态以不同格式表达，例如二元查询和多项选择查询。然而，跨原语的决策一致性尚未得到系统评估。本工作提出PrimaCons，一个四轴基准，用于在保持查询语义的同时评估跨原语一致性。对三种Jev规模的评估揭示了全部四个轴上的一致性违规。我们的分析表明，这些违规遵循系统性模式，且跨原语差异能以0.91的ROC-AUC预测决策失败。为缓解这些不一致，我们提出跨原语残差校准器（CPRC），它将一个轻量级残差网络附加到冻结的主干上，并联合优化预测准确性和跨原语一致性。在留一域出协议下，CPRC将跨原语不一致性降低58.57%，并将准确性提升+2.97%，证明了其在域内和域外设置中的有效性。我们的发现确立了跨原语一致性作为评估Jev的关键维度，并提供了一种提高其决策可靠性的实用方法。代码和基准可在https://github.com/67L1/PrimaCons-CRPR获取。作者：Xu Liu, Guikun Chen, Kanzhi Wu, Wenguan Wang 分类：cs.CV,cs.CL