对Gemma 5的建议清单
用户建议Gemma 5采用循环Transformer架构
原文：List of suggestions for Gemma 5.
最近Omar Sanseviero在Twitter上征集对未来Gemma模型的建议。以下是我的看法：Gemma 5应该采用循环Transformer架构。作为可配置循环深度的循环Transformer，这将解决Gemma 4最大的弱点之一——推理能力。别误会，我很喜欢Gemma 4推理的简洁性，但这在某些场景下确实阻碍了它的表现，循环架构将让模型在这类任务中表现更好，同时仍可配置为较浅的推理，并且比传统Transformer显著更高效，无需额外昂贵的预训练。Gemma 5应该加入DeepSeek的Engram。这将拓宽模型的世界知识，代价仅是额外几GB的内存或SSD空间。这将让模型在真实世界任务中表现更好，而成本几乎为零。继续使用4位QAT。它确实让更多人能以高质量运行你的模型，已在真实世界中被证明效果很好，我完全支持。实现更高效的注意力机制以降低KV缓存成本。实现类似DeepSeek的压缩稀疏注意力2的方案，这将让模型的KV缓存成本显著降低。这是Gemma 4 31b在24GB显存配置下相比Qwen 3.5及之后版本的主要劣势之一。Gemma 5推出约120b的MOE模型？我知道这可能因为与你们的API产品竞争而不太可能，但如果你们在Gemma 5系列中发布一款120b的MOE模型，社区会非常高兴。改进Drafter模型。对Drafter模型做个小更新会不错，因为自Gemma 4发布以来，许多新的投机解码技术已经发表：DSpark、DFlash 2、EAGLE-4等。像Gemma 4 12b那样在模型层中使用线性投影，而非传统的视觉和音频能力架构。线性投影似乎是一种有趣的方法，我
🖼 相关图片
