提出LLM智能体行动前的决策门控机制
原文：Think Before You Act: Decision Gate for LLM Agents
LLM智能体越来越多地通过外部工具执行有后果的操作，然而它们提出的操作往往在没有独立验证策略合规性或任务完成情况的情况下就被执行。我们提出JevAct，一个运行时验证框架，它在执行前拦截选定的智能体操作，并支持反馈驱动的纠正。JevAct将领域策略编译为可执行的状态检查和结构化问题，由仅预填充的决策模型评估，该模型产生基于概率的判断，而不依赖LLM生成。通过将工具状态事实的确定性验证与对话上下文的概率性评估相结合，该框架识别潜在无效的操作和过早的任务终止，并提供有针对性的反馈以进行有界修订。JevAct独立于底层智能体模型运行，无需修改其参数或工具。我们在$τ^2$-bench航空和电信任务以及BFCL上对十一个LLM智能体评估了JevAct。结果表明，多个模型和基准上的智能体可靠性均有提升，其中在电信和BFCL上的增益尤为一致，而航空上的表现则较为参差。总体而言，这些发现表明，将结构化决策模型与可执行验证相结合可以提高使用工具的LLM智能体的可靠性。作者：Iftach Shoham, Yuval David, Offer Akrabi, Erez Bilgory, Ido Levy 分类：cs.AI