PhysCount探究多模态大模型数视觉表象还是物理实体
原文：PhysCount: Do MLLMs Count Visual Appearances or Physical Entities?
图像展示的是外观，但计数往往问的是物理对象。一个实体可能被直接看到、在多个反射中看到，或透过玻璃看到，因此检测每一个可见出现并不能确定存在多少个实体。现有的视觉计数基准很少区分这两种操作。我们引入了PhysCount，一个用于评估多模态大语言模型（MLLMs）能否区分图像中出现的内容与场景中物理存在的内容的基准。PhysCount包含546张真实世界图像和4,595个人工编写的问题，组织为651个目标特定组。对于每一组，标注者定位相关外观，标注每个外观的观察方式，并识别同一实体的外观。四个互补的问题族分别测试外观枚举、物理实体枚举、特定成像方式的计数以及外观-实体对应关系。我们测量每个问题族的准确率以及完全正确回答的组比例。在40个MLLMs中，计数可见外观明显比恢复连接它们身份更容易。即使是最强的模型也仅在13.36%的组中正确回答所有问题。当一个实体产生许多外观或其外观跨越观察模式时，性能下降。更高的图像分辨率改善了对视觉证据的获取，但在完整组准确率上提升有限，而联合回答相关问题则带来显著改善。这些结果揭示了识别可见内容与正确恢复这些观察背后的物理实体之间的差距。作者：Lidong Lu, Jiaxin Lv, Liangrui Dong, Xinyi Mao, Lidong Zou 类别：cs.CV