人机协同标注研究停留时长常识推理
原文：Leaving, Staying, or Living There? Duration Commonsense Reasoning with Human-LLM Co-annotations
在后院园艺意味着住在那里，而入住Airbnb更可能意味着暂住几天。这种时长判断对于理解人类流动性、出行行为和社会背景非常重要。然而，社交媒体帖子中很少明确说明时长，必须从嘈杂的文本、视觉和上下文线索中推断。本文研究视觉语言模型是否具备这种时长常识。我们创建了一个由人类和LLM协同标注的带地理标签推文新语料库，作为该任务的测试平台。我们发现最先进的模型在时长推断方面表现不佳，即使有多轮思维链提示引导也是如此。错误分析进一步揭示，模型往往无法整合关键上下文信息，或者过度依赖显著的视觉细节而忽视微妙的标签和语义细微差别。这些发现凸显了上下文感知多模态理解中仍然存在的重大挑战。作者：Chenyang Yu, Zhaomin Xiao, Yan Huang, Eduardo Blanco 类别：cs.AI, cs.IR