微软推出AI代理安全防护新功能
原文：Microsoft says AI agents are like insider threats as ‘frontier models can’t be trusted’
微软周一推出了新的安全功能，旨在保护企业免受日益增长的AI智能体威胁。此次发布之际，微软持续向企业发出关于AI和智能体危险的警告。其中最引人注目的新增功能是Guardian Agents，旨在监控企业使用的AI智能体。Guardian Agents是Project Perception的一部分，该产品于6月推出。Project Perception是微软对Anthropic的Mythos和Fable等强大黑客模型以及OpenAI的安全漏洞扫描系统Daybreak的回应。Project Perception最初推出了三类智能体：充当黑客发起攻击的“红队”、检测红队并评估其发现的漏洞的“蓝队”，以及负责修复漏洞的“绿队”。该产品围绕一个假设设计，即AI黑客来自公司外部。但最近，微软CEO Satya Nadella一直警告说，AI敌人可能正是企业已部署并付费使用的智能体本身，就像 rogue 人类员工一样，也就是所谓的“内部威胁”。本月早些时候，Nadella在其私人博客中警告说，是时候停止信任AI模型提供商了，即使它们对其智能体产品提供安全保障。他希望企业实施独立的系统——不受AI实验室控制——来监视和控制那些AI实验室产品所启动的智能体。“我们正在部署这些复杂的智能体系统和模型，让它们访问我们最敏感的数据，并赋予它们代表我们执行关键任务操作的能力！”他写道。“我们根本无法将智能行为的责任外包出去。模型提供商的保证并不能免除我们的这一责任。……换句话说，我们需要将智能的供应与其控制权分离。”在宣布Guardian Agents时，微软安全业务负责人Hayete Gall