提出记忆蒸馏方法处理缺失模态的多模态情感识别
原文：Modality Disentangled Learning for Incomplete Multimodal Emotion Recognition: A Primitive Memory Distillation Perspective
多模态情感识别（MER）系统在现实场景中常遭遇模态缺失问题。现有方法通常将缺失模态作为整体进行生成、对齐或蒸馏，忽视了每个模态所承载信息的异质性。这种整体化处理将可推断的共享语义与不确定的模态特有细节混在一起，导致表示不稳定并削弱鲁棒性。为解决这一问题，我们提出了基元记忆蒸馏（PriMD）框架。与现有方法不同，PriMD 采用模态内视角，关注模态内部不同类型信息在可恢复性上的差异。PriMD 首先将跨模态共享语义从模态特有表示中解耦，然后将后者离散化为可学习的语义基元，构建模态特有的记忆库。当模态缺失时，PriMD 构成一个师生框架：学生模型以可用模态的共享语义作为查询，动态检索基元，在受约束的记忆空间内补偿缺失的模态特有信息，并与教师模型对齐。在 IEMOCAP、CMU-MOSI 和 CMU-MOSEI 上的大量实验表明，PriMD 实现了最先进的性能，并在各种模态缺失设置下始终表现出更强的鲁棒性，同时缓解了整体特征推断带来的不稳定性。代码与项目网站见 https://github.com/JiaqiZhang-Sengoku/PriMD 和 https://jiaqizhang-sengoku.github.io/PriMD/。作者：Jiaqi Zhang, Zheng Pang, Mengting Li, Yiqi Wang, Guangyuan Dong 分类：cs.CV