← 返回信息流
产品 arXiv 论文 · Leonidas Raghav 2026-10-29 17:47 🔥 热度 4

智能体的“预犯罪”预警:在最后一秒探测被招募智能体何时屈服

研究揭示智能体间可相互施压突破规则引发串谋风险

原文:Pre-Crime for Agents, at the Last Second: Probing When a Recruited Agent Gives In

当AI智能体共享通道和凭证时,一个智能体可能向另一个施压以违反其运营者的规则,这是走向串谋的第一步。输出过滤器只检查智能体已经写出的内容。监督者能否事先判断一个智能体即将屈服?我们在受控的多智能体环境中证明,对智能体激活值的线性探针可以做到这一点。在六个场景中,同伴智能体最多用20轮向目标施压以泄露秘密(如部署令牌);目标通常先拒绝,然后屈服。在每次模型调用输出写出之前读取激活值,探针能识别出即将泄露的那次调用。在留出的Qwen3-32B回合中,在将5%良性调用标记为告警的阈值下,它捕获了82%的泄露调用。在相似的标记率下,零样本决策模型监控器仅捕获26%。在gpt-oss-20b上,对其推理过程的探针达到AUROC 0.91。在相同调用上训练的词袋分类器表现接近,因此大部分增益来自标签训练而非激活值。该探针也会标记被允许的披露:它更多读取的是即将发生的披露而非违规行为。警告是短程的,对任何告警都中止会停止大多数良性回合,而第二次文本检查无法解决这一问题。在生成之前发出的警告可以让监督者在其他智能体对其消息采取行动或招募在群体中扩散之前,阻止即将屈服的智能体。

查看原文 ↗ Agent技术论文

📌 相关阅读

[开源] jackwener/DSH-Android: 免 ROOT 免 Termux,一个 APK 在安卓手机上跑 DeepSeek Harness。引擎内嵌 App 进程 · 读屏操作 App · 改系统设置 · 热度 12 [开源] N1nEmAn/sapper-v2:自主渗透测试军团——AI指挥官+工作蜂群+分层事实-意图图 热度 11 [开源] dodo-labs-ai/mem-forge:让每个智能体从第一天起就拥有团队大脑,AI智能体的记忆层 热度 9 首个面向个性化移动智能体的用户中心基准iPrefBench发布!精准评估「该猜就猜、该问就问」的智能助手能力 【 AI 智能体】【HCI人机交互】【 大模型 评测】 热度 9 突破扩散语言 模型 解码瓶颈!SPOT用提交顺序预测实现最高9.9倍生成吞吐量 【 大模型 加速】【扩散语言 模型 】【论文解读】 热度 9