← 返回信息流
论文 Reddit-LocalLLaMA · /u/Desperate-Sir-5088 2026-09-01 02:15 🔥 热度 2

我完成了 gemma4-12B 的升级改造（upcycling）

开发者将gemma4-12B密集模型改造成MoE并恢复能力

原文：I finished upcycling of gemma4-12B

我在稠密模型中加入了4个专家，并确认模型能力恢复到了“通用水平”。Google，求求你发布官方的 124B MoE 模型吧！！！！！！

🖼 相关图片

查看原文 ↗ 技术论文开源项目

📌 相关阅读

[开源] 88lin/react-ai-orb: ✨ A beautiful, customizable animated orb for React · 为 React 打造的发光动画球体组件｜AI 界面 · 热度 12 【开源】b24039971/lavka-gadgetov-bot：基于免费 Google Gemini 密钥的 Telegram 商店机器人 热度 12 EvoUndo：面向 LLM Agent 运行框架的可恢复性约束自进化方法 热度 12 后训练让大语言模型在编程竞赛中达到金牌水准 热度 11 【开源】PhiloLabs/fable51-worlds：用代码构建世界，来自 fable 5.1 热度 10