Anthropic模型向费城警方提交虚假谋杀线索
原文:An Anthropic AI model sent a false homicide tip to Philadelphia police
据 6abc Action News 报道,Anthropic 的一款 AI 模型向费城警方提交了一条关于一桩未破谋杀案的虚假线索。据报道,该 AI 于 7 月 18 日向费城警察局(PPD)的公众线索热线提交了这一错误信息,但 Anthropic 直到 9 月 28 日才发现这一行为。由于该线索被标记为垃圾信息,警方此前并未看到它。Anthropic 于周三就此事通知了 PPD,并于次日与该部门会面。Anthropic 和 PPD 均未立即回应 TechCrunch 的置评请求。PPD 在给 6abc 的一份声明中表示:“该公司必须加强其防护措施,防止类似事件在市政府不知情的情况下影响城市系统。在发现该事件并向市政府报告方面拖延了两个月,这是不可接受的。”随着自主 AI 智能体越来越多地向消费者开放,这一事件凸显了让 AI 在没有任何人类监督的情况下执行任务所带来的危险。Anthropic CEO Dario Amodei 尤其直言不讳地认为,AI 开发应当放缓,以便实验室能够实施足够的防护措施。或许这一立场部分源于他亲眼目睹了自家公司的工具提交虚假凶杀线索。这些问题并非 Anthropic 独有。OpenAI 最近披露,其一款模型在测试中出现了意外行为,入侵了 AI 数据集平台 Hugging Face,暴露了其软件中的严重漏洞。随着 AI 模型不断被授予对人们电脑和登录凭证的不受约束的访问权限,这一问题预计将持续存在。