研究发现文本人设难让视觉语言模型模拟真实人群
原文：Telling Is Not Seeing: Textual Personas Rarely Make Vision-Language Models Answer Like the People They Describe
视觉语言模型（VLMs）越来越多地被赋予人设提示，例如"你有低视力"，以在用户研究中替代真实人群。我们探究人设是否能让模型像其所描述的人那样"看见"。我们将人设回答与实测的低视力、色盲或听力损失人群的回答进行比较，也与仅使用人设所陈述事实的简单规则进行比较。人设从未超越这些规则，而且它抹平了群体和个体之间的真实差异。在我们测试的全部14个模型中，描述模糊并不会改变识别结果，而实际模糊照片则会像对人一样降低识别率。在开源模型内部，描述既不改变图像信息也不改变答案概率。然而，模型知道它们未能展现的效果：它们能够估计模糊和错觉如何影响人类。告知不等于看见：人设让模型说出它所知道的人类特征，而非看见人类所看见的。作者：Jiawei Chen 分类：cs.CV,cs.AI