解析自回归语音克隆TTS模型中的可解释声学特征
原文：Discovering Interpretable Acoustic Features in Autoregressive Voice-Cloning TTS Models
语音克隆TTS模型能从简短的语音提示中合成未见说话人的声音，但其表征和使用哪些声学属性仍不清楚。我们引入了一个面向自回归语音克隆TTS模型的基于特征的可解释性框架，通过稀疏探测、引导和定量自动可解释性来分析来自稀疏自编码器（SAE）、PCA和随机方向的特征。我们聚焦于Qwen3-TTS，并将探测和引导扩展到另外5个模型以测试跨架构的泛化性。这些模型编码了音高、能量、噪声和口音等概念，但稀疏预测和引导仅对部分概念有效。强探测并不总能转化为引导，反之亦然。SAE适用于对人类标注概念和新概念发现的稀疏探测，而PCA在密集探测和引导方面具有竞争力。自动可解释性在Qwen3-TTS中发现了684个自动验证的SAE特征，涵盖说话人聚类、说话风格和录音条件等已知概念之外的内容。总体而言，我们对自回归语音克隆TTS模型进行了全面的可解释性研究。