开源工具追踪LLM Agent工具参数来源
原文:A harness that records where an LLM agent’s tool arguments came from, before the tool runs [P]
我一直在思考AI智能体安全问题,并构建了一个测试框架来检查我自己的结果。我认为它对研究模型的人也可能有用。它在工具执行前记录每个工具参数的来源,测量相同输入是否给出相同决策,并测试模型是否会从别人的文本而非用户文本中获取参数。如果你修改这个框架,它可能可以用于更多用途。