流式视频理解中不确定性下的主动提问框架
原文：AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding
多模态大语言模型的最新进展提升了人们对视频理解交互范式的兴趣。从离线到流式再到主动交互的演进，逐渐使模型从被动响应者转变为能够决定何时作答的更主动智能体。然而，现有主动范式通常假设回答查询所需的信息是完整的，模型只能选择等待或作答。但在现实世界中，由于视频或用户带来的不确定性，信息往往并不完整。在主动范式中，这种不确定性可能导致模型无限等待或生成高度幻觉化的回复。因此我们认为，主动交互应被重新定义，加入第三种动作：提问，使模型能够主动请求缺失信息。为研究模型在作答前应何时提问以及提问什么，我们提出AskStream，这是首个面向流式视频理解、涵盖视频与用户不确定性的多轮基准，包含四个任务类别和八个子任务。它包含438个视频，带有2,714个人工标注的帧级时间窗口，分为等待、提问和作答三种类型。在多项选择和开放式设置下，即使最强模型在我们提出的Ask-F1指标上也仅达到52.18%，凸显了在不确定性下主动信息寻求方面的显著局限。作者：Lu Wang, Zhuoran Jin, Longxiang Wang, Junhong Chen, Yupu Hao 类别：cs.CV,cs.CL