← 返回信息流
产品 HackerNews AI · LogTrim 2026-08-29 15:36 🔥 热度 2

代理安全是一个系统性问题:247篇论文对安全AI代理的启示

AI Agent安全研究综述:247篇论文分析

原文:Agent Security Is a Systems Problem: What 247 Papers Say About Secure AI Agents

代理安全是一个系统性问题:从提示注入到为速度而构建的运行时控制——即使在负载下也能实现约10毫秒的延迟 构建、跟踪和部署模型的超快方式!- 仅用1个vCPU即可处理350+ RPS,无需调整 - 具备完整企业支持的生产就绪解决方案 2026年对LLM代理安全性的重大调查得出一个企业团队应该认真对待的结论:一旦模型能够使用工具、保留状态并代表他人采取行动,安全性就不再主要是一个提示过滤问题。它变成了一个涉及信息流、委托权限和持久状态的系统性问题。1. 为什么代理安全与LLM安全性不同 调查从一个简单的架构事实开始:LLM代理不仅仅是生成文本。它可以规划、调用工具、浏览、执行代码、更新状态并与其他代理协调。这些能力将模型输出转化为软件控制流的输入。这改变了故障模式。隐藏在网页中的恶意指令可能会影响后续的工具调用。被污染的工具结果可能成为另一个决策的上下文。受损的内存条目可能会在原始会话之后继续存在。委托的凭证可能会将一个糟糕的计划变成真正的副作用。在多代理系统中,相同的受污染信息可能会传播到最初遇到它的代理之外。因此,该调查围绕三个相互作用的属性构建代理安全:有用的含义是,安全代理架构不应该只问:“我们是否阻止了恶意提示?”它还应该问:这些内容可能影响什么,由此产生的轨迹可能行使什么权限,以及轨迹可能留下什么状态?2. 攻击面贯穿整个代理生命周期 Ling及其合著者使用基于生命周期的、系统导向的框架,而不是简单的攻击名称列表。在操作上,将核心行动路径——输入、规划、决策、工具执行和输出——分开是有用的

查看原文 ↗ Agent

📌 相关阅读

模型 再强也救不了 Agent:语义和记忆才是真正的瓶颈| AI Agent| AI 大模型 |Agent 记忆 热度 8 从单Agent到Multi-Agent:企业级智能体的7层核心能力一次讲透!| AI大模型 |Agent| AI |项目实战| 热度 7 GLM 5.3 和 GLM 5.3 Flash 在 RTX PRO 6000 WS 上本地运行,用 BlenderMCP 建了一座顶层豪华公寓 热度 6 千问创作上线Agent Teams,覆盖专业视频制作场景 热度 6 AQuA:让量化研究 Agent 持续进化,也让回测结果经得起检验 热度 6