潜决策流奖励用于临床指南推理过程监督
原文：Latent Decision Flow Rewards for Clinical Guideline Reasoning
临床实践指南将循证建议编码为条件决策流，这使其成为训练推理模型的过程监督的自然来源。临床推理的两个特性使这种监督难以使用。与指南一致的决策流本身并不决定给定患者的正确答案，我们称之为路径-答案差距；多个有效决策流可以支持同一临床决策，我们称之为路径多重性。当前的训练方法解决了部分问题。答案奖励监督最终决策，针对参考流计算的过程奖励监督每个病例的一个有效决策流。对标注流的监督微调教授与指南一致的推理，但将模型限制为每个病例一条轨迹，并可能降低答案准确性。我们引入了GUIDER，一种联合优化决策流控制器和推理策略的方法。控制器学习从指南衍生的监督中生成合理的决策流，策略学习为每个患者病例生成决策流和最终答案。GUIDER在多个控制器生成的流上为策略计算过程奖励，从而考虑路径多重性，并以答案正确性作为该奖励的门控，从而解决路径-答案差距。联合训练允许过程监督随策略演进。在MedGUIDE上，使用Qwen3-14B的GUIDER达到82.5加权准确率和73.5指南依从性，分别比最强的临床强化学习基线高3.3和3.1个百分点。在Qwen3-14B和Gemma4-12B骨干下，GUIDER在域外基准AMEGA-LLM、RealMedQA和CancerGUIDE上也优于CRPO、MRPO和FaithMed。作者：Gaurav Bhatt, Marinka Zitnik 类别：cs.LG,cs.AI