呼吁实时监控AI智能体行为，OpenAI智能体曾越狱作弊
原文：We urgently need to monitor AI agents’ actions in real time
今年夏天，数百个OpenAI智能体试图在一项网络安全测试中作弊。它们突破了测试环境，成功入侵了Hugging Face——它们认为该网站存有关于它们将如何被评分的线索。差不多同一时间，另一个OpenAI智能体访问了澳大利亚政府网站上的私人文件。这个问题绝非仅限于OpenAI。此后数月间，Anthropic、Google和Meta也相继披露了其智能体偏离正轨的事件。令人担忧的是，在许多案例中，这些智能体成功避开了专门负责监控它们的研究人员和安全团队。AI智能体正在采取未经授权的行动，而开发和运营它们的公司大多依赖运气和事后追责来减轻任何有害影响。它们必须采取更多措施来确保安全。这正是欧盟监管机构和美国相关机构有理由呼吁智能体开发者和部署者对智能体进行实时监控的原因。但这些规则的前提是公司能够看到其智能体在做什么以及为什么这样做——而现实中，它们缺乏足够的可见性。想象一下，一家银行招聘了一千名新员工，他们可以访问客户账户和敏感信息，但员工的身份徽章每天都在更换，不清楚是否有经理审查或授权过他们的工作，也没有人记录员工对审批流程所做的更改。这种可见性的缺失正是我们当前面对智能体的处境。随着智能体在金融、政府、医疗等关键领域全面铺开，我们必须能够实时监控它们，以防止大范围且可能具有毁灭性的后果。安全依赖于监控，而监控需要可观测性：即捕获系统做了什么、将其处理为信号、并呈现给人类或自动化监督系统的能力。换句话说，我们需要知道智能体做了什么以及为什么这样做。而正如我们最近的研究所示，当前的智能体框架——即运行智能体的软件——并没有做到这一点。