量子-格拉斯曼混合token用于灾后建筑损毁评估
原文:Quantum-Grassmann-Plucker Token Mixing for Deep Learning-Based Post-Disaster Damage Assessment
基于卫星影像及时开展灾后建筑损害评估是一项关键的工程决策支持任务,但仍受制于类别不平衡、模糊的中间损害状态以及有限的跨事件迁移能力。据我们所知,本研究首次将Grassmann-Plücker(GP)令牌混合应用于计算机视觉,并为图像分类引入两个扩展:量子启发的Grassmann-Plücker(QGP)头和混合量子机器学习Grassmann-Plücker(HQML-GP)头。GP头通过用Plücker坐标编码由令牌对形成的子空间来表示图像块令牌之间的多尺度关系;QGP用振幅导出的概率特征丰富这些坐标,而HQML-GP则将由模拟量子电路生成的期望值纳入几何令牌表示。来自xBD龙卷风数据集的灾前和灾后图像块对,使用冻结的六通道Vision Transformer基础编码器(16×16像素块)进行处理。在相同的训练、检查点选择和评估协议下,将三种基于GP的头与多层感知机和Transformer基线进行比较。Joplin和Moore龙卷风样本用于模型开发和已见事件测试,而Tuscaloosa则保留用于未见事件评估。QGP在两个测试集上的准确率和宏F1均领先:已见事件为83.46%和64.50%,未见事件为66.45%和52.70%。尽管HQML-GP获得了最高的65.63%验证宏F1,但它在两个测试集上均未超过QGP,且每个epoch所需的训练时间明显更长。这些结果确立了GP令牌混合作为传统基于Transformer的令牌混合的有竞争力的无注意力替代方案,可用于成对卫星图像损害分类。作者:Kooroush Farahkhah、Umut Lagap、Taha Rezaei、Saman Ghaffarian。分类:cs.CV、cs.LG