嵌入模型可用于搜索图像内的文字

这是自Embedding Gemma 2发布以来我测试了几周的东西，Q8量化下大约330MB。不确定这算不算“资源”标签……图片展示了随着我不断细化文本查询（即文本嵌入向量），余弦相似度的变化过程。既展示了它的效果，也展示了它的怪癖。现在先留个tl;dr版本，这边已经凌晨3:30了。如果有人感兴趣，我会再做几组测试并制作像上面那样的示例查询图——我还有7组共22448张截图（英/韩/日混合）已经建好索引，但我想不出更多测试点子了。请谨慎看待，因为这只是在少数几组数据上测试的，并不真正科学。至少对EmbeddingGemma2的TL;DR：就其体积和嵌入维度而言（330MB Q8 / 768嵌入维度），这非常可用。它对单词含义有一定跨语言理解，但相似度低得多（同样，可能因为体积小）。查询余弦相似度。与下一候选图像的差值。句子“삼각건이 머리에 얹어졌다”0.71156 +0.00810（38.jpg）。句子“triangular cloth hat was place on top of head”0.62414 +0.00015（38.jpg）。需要谨慎措辞（例如blond vs blonde）——也许是SLM的局限或嵌入维度的局限（至少英韩如此）。文本似乎比视觉特征更主导余弦相似度，有时加入视觉特征反而有害（参考上面的椅子）。不确定是因为文本信息密度更高（即更“令人意外”），还是仅仅因为模型太小而无法识别这类视觉特征，我也不知道。无论如何，视觉特征在这个测试集中用处不大，因为3003张图里约90%都有金发女孩。查询余弦相似度。与下一候选图像的差值。对话“삼각건이 머리에 얹어졌다”0.75960 +0.01774。金发女孩图像0.68208 +0.00250。金发女孩做><表情的图像0.70416 +0.00340（至少韩语如此）。单词的存在主导整个句子，例如上述图像示例中“삼각건”（清洁帽之类的东西）比其他词更主导。