诊断多模态推理中视觉支架的参考差距问题
原文：Diagnosing the Reference Gap: What Visual Scaffolds Can and Cannot Fix in Multimodal Reasoning
多模态大语言模型能够识别视觉内容，却难以在多步推理中可靠地对其推理。在计数时，模型可能看到所有物体，却丢失了已计数对象的追踪。我们认为，这类通常归因于感知的失败揭示了一个指代鸿沟：未能将语言绑定到相关的视觉实体、区域或位置。受视觉 routines 理论启发，我们测试编号等外部指代能否缩小这一鸿沟。我们推出ReGap-Bench，一个包含五项视觉推理任务的配对基准，其中场景、问题和答案固定，仅指代方式变化。结果表明，任务匹配的指代可将准确率提升最多25%，而不匹配的指代几乎没有益处甚至损害性能。这些发现将指代鸿沟识别为独立于视觉感知的瓶颈，并表明构建任务适配的视觉指代可作为一种免训练的视觉技能来改进多模态推理。作者：Guizhen Chen、Weiwen Xu、Wotao Yin、Anh Tuan Luu、Hou Pong Chan。类别：cs.CV、cs.CL