二部图方法估计LLM与VLM的不确定性与可靠性
原文：BiG-SURE - Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs
可靠的不确定性估计是在安全关键场景中部署大语言模型（LLM）和视觉语言模型（VLM）的关键要求，尤其是在模型参数不可访问（黑盒）的情况下。我们提出BiG-SURE，一种基于跨温度语义一致性的不确定性估计器。该方法在保持语义的输入变换下，采样低温响应作为稳定的语义锚点，并采样高温响应作为探针。随后利用基于NLI的蕴含分数构建锚点-探针二部图（BiG），并通过该矩阵的归一化平方谱能量定义置信度，不确定性则由其补数给出。这种基于二部图的语义不确定性与可靠性估计（SURE）分数衡量高温探针是否仍与模型稳定的低温信念保持语义一致。我们在文本问答、多语言问答和多模态问答任务上，跨多个模型家族对BiG-SURE进行了评估。实验表明，BiG-SURE在平均弃权AUROC上超越了此前的黑盒不确定性估计器，同时保持简单、无需监督，并适用于黑盒模型场景。作者：Debarpan Bhattacharya、Malay Phadke、Sriram Ganapathy。分类：cs.CL、cs.AI、cs.LG