紧凑解码器联合门控与记忆生成主动提示
原文：When to Assist and What to Suggest: Joint Gating and Memory-Grounded Hint Generation in One Compact Decoder
主动式助手在对话过程中提供简短的、基于记忆的提示，决定何时辅助以及建议什么。当前系统将这一任务拆分为门控和更大的生成器；我们在28,058个决策点上对两者进行了联合评估。分阶段生成分数是理想门控的上限：在真实门控之后，端到端精确匹配为0.2619，而上限为0.2971，端到端精确率为0.2387，仍有相当大的提升空间。门控通过精确率和计算量带来收益，其节省从8B生成器的4.39倍降至1B生成器的1.38倍。记忆画像驱动提示质量：移除它会导致24.7个精确匹配点的损失（重缩放BERTScore从0.57降至0.35），而检索和更大的生成器在精确匹配上没有增益。一个1B解码器可以同时完成两项任务，从中间层进行门控并在同一前向过程中生成。在其最终检查点上，它在自动端到端指标上匹配或超过了双模型流水线，同时比匹配的1B流水线少用1.31-1.76倍的墙钟时间；在三个随机种子下，其更深层的出口与独立门控持平。人工评估（32段对话共1,144次评分）支持记忆效应，并将单模型评为与匹配的1B流水线相当、低于8B流水线。分级指标和LlamaPIE的原生评判比精确匹配更贴近人类评分，我们将精确匹配作为严格下界报告。作者：A. J. A. Jubayer Talukder, Mohammad Ariful Haque。类别：cs.CL,cs.AI,cs.HC