Arc发布70MB流式语音模型,实时转写并链接实体
原文:Arc: a ~70 MB streaming speech model that transcribes links names and metadata to your own list as they're spoken, with no second model [p]
我构建了 Arc-Transcriber,它一步完成 ASR-NL。每 100 毫秒,一个模型返回转录文本以及:- 与你提供的列表(花名册、联系人、产品名称)关联的人名;新名字会被标记为“不在列表中”- 数字及其值(分数、时钟、金额、日期)- 说话人及角色;- 声音和通道事件(电话音频、削波、音质差)- 语音是否是对助手说的。- 内置对话行为、说话人分割等标签。总计 200+ 个训练好的决策头。通常的 ASR、然后 NER、然后实体链接、然后 LLM 链被折叠进模型自身的头中,因此针对你列表的实时“事实核查”发生在流内,而不是在第二遍处理中。目前它有两个变体:Arc mini(使用 moonshot 预训练编码器)和 Arc-v1(使用 parakeet 预训练编码器)。权重:huggingface.co/WhissleAI/arc-v1.1 代码和 CLI:github.com/WhissleAI/arc_transcriber 我们在 Mac 应用中将其用于设备端。对 61k 本书的语音搜索会在你还在说话时用匹配的标题为 Arc 提供提示。这里有一个视频可以一窥其工作原理。