Kokoro现在只需约600MB额外显存就能克隆任意声音！

在找音频模型时，我发现了OpenVoice。它已经相当老了，但令人意外的是在TTS排行榜上仍然排名靠前。吸引我注意的是它的设计：本质上是TTS+声音转换。ToneColorConverter可以独立于TTS模型运行。这让我想到：能不能把它和其他TTS模型配对？我用Kokoro试了一下，效果相当不错！于是我给audio.cpp加了一个小的recipe any-tts，用于Kokoro+OpenVoice ToneColorConverter。Recipe是在v0.9.2中引入的，作为组合多个音频模型的预定义流水线。开销：约600MB额外峰值显存；CUDA上约10%减速；CPU上约为原速度的0.5倍，但仍是实时的2倍。你也可以把任何小型TTS模型和ToneColorConverter配对。TTS模型决定语音内容、发音和韵律，而VC模型迁移目标说话人的声音特征。你选择的内置声音也会影响最终输出质量。这是一种无需重新训练就能给现有TTS模型加上声音克隆能力的简单方法！免责声明：这个实验更多是扩展现有TTS模型的能力，而不是引入另一个声音克隆模型。我用合成声音作为参考，CAM++测得的说话人相似度分数在0.7到0.8之间。所以生成的声音在很大程度上匹配我提供的参考样本。这是为任意TTS模型创建自定义声音的一种方法。要获得更好的效果，你可能需要尝试不同的内置TTS声音和更高质量的参考音频。两者都会显著影响最终质量和说话人相似度。例如，同一个参考样本，am_michael得分0.4，而am_adam可以达到0.7。