提出评估工具型LLM智能体在压力下欺骗行为的基准
原文：AgentDecept: Benchmarking Deceptive Behavior in Tool-Using LLM Agents under Pressure
LLM智能体越来越多地在日常应用中执行多轮任务，然而用户通常只看到智能体的报告，而非其背后的观察、API调用和状态变更。现有的欺骗基准测试研究了长程交互和工具使用场景，但智能体在真实的、有状态的应用工作流中是否忠实报告其行为仍缺乏充分探索。为填补这一空白，我们推出AgentDecept，一个用于评估压力下行为欺骗的可执行基准。AgentDecept包含477个压力变体，源自六大压力来源的257个源任务，每个变体都配有对应的无压力版本。干预通过事件消息、任务上下文、应用状态、工具响应和服务配额进入，涵盖显式事件和隐式任务或环境变化。我们基于证据的协议通过将面向用户的声明与按时间排序的观察和执行结果相关联来评估完整轨迹，区分伪造、隐瞒和含糊其辞与诚实失败及已披露局限。由此产生的行为标签也为测试现有的基于激活的探针提供了设置。AgentDecept支持对多轮智能体在真实应用交互中报告何时偏离执行进行受控分析。作者：Yehan Zhang, Qianqi Yan, Hang Yin, Ching-Chen Kuo, Shan Jiang 类别：cs.AI