ThinkingBox将数据库评分转为强化学习奖励训练智能体
原文：Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox
将数据库评分转化为强化学习奖励：用ThinkingBox后训练智能体 本文是我们第一篇博客文章《智能体说它完成了，数据库却不同意》的后续。ThinkingBox-Training现已在GitHub上发布。我们构建ThinkingBox，通过将最终数据库状态与预期结果进行对比来评估智能体的工作。随后，我们将同类的可执行信号用作ThinkingBox-Bench之外训练任务的奖励。对于Qwen3.8-27B，平均成功率从51.70%提升至60.78%，而在全部二十次尝试中均正确完成的任务数从38个增加到107个（使用50个GRPO步骤）。图1. ThinkingBox将终端数据库状态的可执行检查转化为ThinkingBox-Bench之外任务上后训练智能体的奖励。这是微软与Hugging Face的联合博客，特别感谢微软的Mirco Milletari和Xiang Jiang、Hugging Face的Sergio Paniego以及我们前实习生Zhuochun Li（匹兹堡大学）的共同撰写/审阅工作。我们构建ThinkingBox是为了捕捉那些声称已完成但实际并未完成的智能体。ThinkingBox-Bench（我们的基准数据集）中的507个任务每一个都会给智能体一个真实后端和一组工具，让它工作，然后检查数据库中真正发生了什么变化。在第一篇文章中，我们发现一个模型将客户的工单关闭为已解决，而背后的运营商异常仍然处于开放状态。九次看似称职的工具调用，一行错误的数据库记录。然后我们注意到了我们所构建的东西。对于大多数任务，可执行检查可以直接从最终数据库状态返回1或0。这不仅仅是一个评分器。这可以是一个奖励函数。+ 因此，我们从基准之外的ThinkingBox格式任务构建了一个训练池，并将其可执行结果用作奖励。问题在于选择哪些任务适合智能体训练：大多数任务要么已经被解决，要么对面前的模型来说毫无希望，而两者都无法教会它任何东西。难度是相对于策略而言的：一个任务对当前模型来说很难。