[R] 将EmbeddingGemma-2（577M）从MAEB音频基准第26名提升至第1名：用PCA降维的Conformer中间层填充其256维零空间（零训练）

模型与权重：BrunoHays/embeddinggemma-2-nullspace-audio 我想分享一个针对google/embeddinggemma-2（577M）在MAEB上的实验，MAEB是MTEB排行榜上的30任务音频基准。仅使用PCA将Conformer中间层投影到模型最终投影矩阵未使用的零空间中，模型的宏平均分数就从49.3%跃升至54.4%（+5.1分），在MAEB纯音频榜上从第26名升至第1名（在完整MAEB上从第16名升至第1名），领先于8B-9B多模态模型。1. 文本对齐音频编码器中的末层过滤 在MAEB排行榜上，由LLM支持的Omni嵌入器在多语言文本到音频检索上得分95-99%，但在无监督音频聚类上降至1%-6%，在声音情绪（CREMA-D）上约为20%。将音频编码器对齐到文本LLM会过滤末层：词汇内容（说了什么）被保留，而副语言和声学特征（音色、音高、情绪）被丢弃。2. 探测12个Conformer层 逐层语音研究（Pasad等；Bouziane、Mdhaffar & Estève）表明，说话人、韵律和语义属性在语音编码器内部不同深度达到峰值。探测embeddinggemma-2的全部12个Conformer层证实了这一点：第2层（均值+标准差池化）：VoxPopuli性别聚类从0.05%（最终输出）升至66.6%（第3层）/65%以上（第2层），IEMOCAP性别分类从66.4%升至83.0%。第6层（均值池化）：CREMA-D情绪分类从19.7%翻倍至39.5%。3. 为什么EmbeddingGemma-2有256维零空间 在embeddinggemma-2中，文本骨干隐藏层大小为512，终端投影矩阵W的形状为768 x 512，其后没有激活函数：512维文本子空间：由于W从512维线性映射到768维，每个文本向量都位于一个512维子空间中。256维零空间：对W进行SVD可得到剩余的256个正交方向（零空间），文本向量从不使用这些方向。零文本干扰：任何注入这256个方向的音频向量