Gemma 4 31B拟人化对话微调版发布
原文:Gemma-4-31B-Humanlike-Chat: 2.0's improved human voice on official Gemma 4 31B
此前发布的 Qwen3.8-27B-Humanlike-Chat 2.0 是一个能像人一样发消息、也能干活的微调模型,目前 GGUF 仓库在 v1 和 2.0 之间已累计 136k 下载量。谢谢大家。2.0 帖子下的一条高赞评论是:“我想知道用你的方法训练 Gemma 4 31B 会怎么样”。于是它来了:Gemma-4-31B-Humanlike-Chat。2.0 的语音风格,搭载在 Google 官方 Gemma 4 31B 之上。它能做什么:无需提示词就能像人一样发消息。短句、小写。会回应你说的话。让一位盲测评委看一段真实聊天和两条可能的下一句消息,它要选出哪条来自真人。在 26% 的时刻,评委把该模型的回复当成了真人的回复。在我的测试中,Google Gemma 4 31B 为 0%。会问,不瞎猜。让它订东西,不给细节。它会追问细节,而不是编造。When2Call(正确调用、询问或拒绝):66。Google 基座 46。没有合适工具时不会调用工具。BFCL 无关性 90。Google 81。合适的工具与参数:BFCL simple 96。知识与 Google 相同。MMLU-Pro 82.5。与 Google 基座相同。背后是官方 Gemma。基于 google/gemma-4-31B-it 训练。Apache-2.0。未做 abliteration,我认为 Gemma-4-31B 不需要。思考功能可用。会短暂思考,然后以同样的语音风格回消息。角色与真实任务。给它一张角色卡,它就变成这个角色。让它写正式邮件、编号步骤或代码,它都会给你。然后再回到发消息模式。我是怎么训练的:两步,与 2.0 相同的配方。在 1 张 H200 上完成。SFT,13,740 行。2.0 在其训练聊天上的回复。指令和代码部分使用 Google 的原始答案。人类偏好从盲测对比中挑选。我的修正。在线策略蒸馏,12 步。模型自己写回复。教师对每个 token 打分。两个教师。SFT 模型 + 隐藏指令来像人一样发消息:聊天、角色。原始 Google 基座:指令、工具、代码。学生看不到隐藏指令。所以它无需提示词就能那样发消息。每步还有一些自对弈。