Block的新语音模型听起来异常像真人

Jack Dorsey的Block公司从其研究实验室发布了一款新的语音模型，该模型可在本地运行，其笑声、停顿和哭泣等表达方式听起来异常像真人。该公司表示，这款名为Dessa的模型完全基于人类语音训练，并可在单块NVIDIA GPU上运行。Dessa是一款全双工模型，这意味着它可以像OpenAI今年早些时候发布的GPT-Live模型一样，同时说话和聆听。通常，语音模型会与大型语言模型配对以进行知识检索。Block表示，Dessa的知识来源于其所拥有的对话数据。Block表示，当前的模型可能听起来不自然且令人烦躁，因为它们的流程中包含驱动语音生成的文本。许多模型，如ElevenLabs v4或Fish Audio Drama 3，使用语音标签来驱动语音生成中的情感。Dorsey的公司声称，情感已内置在其模型中。目前尚不清楚这种情感是否由某种标签来引导。“与当前的语音AI交互简直糟透了。它把你的声音转成文本，丢弃了大量文本本身无法承载的信息。世界上最强大的AI听不出你的感受。我们认为这很荒谬，会导致更差的体验，并且可能很危险，”该公司在一篇博客文章中表示。该公司的研究人员发布了多个与Dessa对话的示例，其中智能体具有不同的声音、语调和情感。例如，在对话中，机器人说自己工作累了，而那时它听起来确实很累。在下面的示例中，机器人谈到那个人让它感到舒适，同时听起来情绪激动，几乎要崩溃。另一个示例显示一名Block团队成员与语音助手一起玩游戏。该公司表示，该模型可以在消费级电脑上本地运行，例如MacBook M4 Max或更高配置。然而，目前Dessa尚未公开访问，Block已发出呼吁，招募安全研究人员。