我给 EmbeddingGemma-2（577M）加了个 2.4 MB 的 PCA 头、零训练，把它从 MTEB 音频榜（MAEB）第 26 名带到第 1，击败 9B 模型

模型与权重：BrunoHays/embeddinggemma-2-nullspace-audio。MAEB（Massive Audio Embedding Benchmark）是 MTEB 主榜中音频与文本到音频嵌入的核心基准，目前由 8B-9B 多模态模型主导。我拿 Google 的边缘尺寸模型 google/embeddinggemma-2（577M 参数、768 维向量），把它的 MAEB 分数从 49.3% 提升到 54.4%（+5.1 分），在 MAEB 纯音频榜上从第 26 名跃升至第 1（在完整 MAEB 上从第 16 升至第 1），且没有训练任何一个权重。整个新增部分只是一个 2.37 MB 的 safetensors 文件，里面是冻结的 PCA 矩阵。为什么这对本地/边缘部署重要：577M 参数、768 维向量（比 9B Omni 模型小 15 倍），在笔记本或边缘设备上轻松运行。标准的文本对齐音频模型很擅长把语音内容与文本匹配，但在按音色、情绪或声音相似度对音频分组方面表现很差，因为最后几层保留了说了什么词，却丢掉了声音是如何发出的。通过从冻结音频编码器的早期层提取特征，该模型保留了基座模型 100+ 语言的文本到音频搜索能力，同时修复了音频到音频任务：无监督音色/性别聚类：0.05% -> 63.1%；艺术家/歌曲音频到音频搜索：55.2% -> 93.8%；人声情绪分类：19.7% -> 40.2%。原理：早期层仍懂声学——语音表征研究（Pasad 等；Bouziane、Mdhaffar & Estève）表明，早/中层保留了说话人、音高和情绪特征，而这些在最后几层会消失。在 EmbeddingGemma-2 中，第 2 层和第 6 层仍保留这些信号。768 维向量中有 256 个空方向：EmbeddingGemma-2 的文本主干实际上是 512 维，最后通过一个 768 x 512 线性矩阵投影到 768 维。这就留下 256 个垂直方向（零空间），文本向量从不触及。用 PCA 填充零空间：我用 PCA 将第 2 层和第 6 层压缩到 256 维（在 1,400 个外部音频片段上拟合），并注入到那 256 个未使用的维度中