鸡尾酒会音频反向图灵测试：人类略胜语音模型
原文：Cocktail-party audio as a reverse Turing test: humans beat speech models, but not by enough [P]
大家好——我想分享一个我做过的小项目，测试从背景嘈杂声中挑出一个声音能否区分人类和机器，思路类似音频CAPTCHA。设置：40个合成片段：一个目标句子由合成语音朗读，混合在多个背景声音之上，背景声音朗读随机短片段（错开开始，衰减4 dB）。来自18个会话的146次人工转写，允许无限次重放。8种模型配置，每个片段一次推理：Whisper base/small、Vosk、Wav2Vec2、Qwen3-ASR 0.6B、Parakeet CTC 0.6B，以及Gemini 3.8 Flash，分别使用朴素提示和指示关注主说话人的提示。主要指标：词准确率（1 − WER，下限为0）；默认通过阈值=词准确率≥0.5。TL;DR：人类在这项任务上更好，但差距太窄，无法成为可靠的CAPTCHA。结果：人类平均词准确率0.71，而带指令的Gemini为0.54（Qwen3-ASR为0.55）。通过率：人类77%，Gemini 55%。注意：从≥0.5到≥0.9的任何阈值都接近不了我最初粗略的心理目标：人类>80%，机器<20%。与Gemini的同片段配对差距：+0.13（95% CI +0.03到+0.23，会话级bootstrap）；AUC 0.62。仅指令提示就将Gemini从0.34提升到0.54。重放对人类没有可测量的帮助；人们也会重放对模型来说最难的片段。对人和每个模型来说，错误都随着句子接近末尾而增加。局限性：样本小（18个会话，主要是英语母语者）、单一合成设置、没有源分离，除Gemini外没有大型或商业ASR。我翻出了休眠的博客写了一篇分析（https://www.kelvinjiang.com/2026/10/can-machines-follow-voice-through-crowded-room.html），也分享了代码、数据和音频语料库：https://github.com/cloudkj/crosstalk 非常欢迎对方法的反馈，尤其是关于如何让音频对人类保持简单但对模型始终困难的想法！由/u/cloud_kj提交 [链接] [评论]