开源OpenBonsai可将BF16模型压缩为约2GB三值GGUF
原文：I open-sourced OpenBonsai: compress your own BF16 models and fine-tunes into ~2 GB ternary GGUFs
我一直在为我的开源浏览器代理 WebBrain 试验小型模型。长期目标是尽可能多地在本地运行智能，理想情况下通过 WebGPU 实现。我特别感兴趣的一种方法是 Prism ML 的 Ternary Bonsai：使用三值权重（-1、0、+1）将 9B 模型压缩到大约 2 GB。Prism 发布了权重和推理运行时，但没有发布完整的 BF16 到三值压缩流水线。你可以微调他们现有的三值模型，但没有公开可用的方法将你自己的 BF16 微调版本压缩成他们的格式。所以我尝试构建了一个。隆重推出 OpenBonsai，一个 Apache-2.0 许可的训练后三值量化框架，兼容 Prism 的 PTQ1_0 GGUF 格式。工作原理：最近 Intel Labs China 的一篇论文《Attend to Your Own Thoughts》（Wang 等人）启发了部分方法：使用模型自身的推理轨迹进行校准，而不是完全依赖通用文本。该流水线结合了：带符号 Hadamard 旋转以减少权重离群值；顺序 GPTQ 将权重量化为 {-1, 0, +1}；FP16 组缩放（每 128 个权重一个）；自生成的推理轨迹用于校准；针对原始 BF16 模型输出分布的缩放蒸馏；导出为 Prism 的 PTQ1_0 GGUF 格式。结果：Qwen3.5-9B：约 18 GB → 1.997 GB。这是完整的 GGUF 文件，不仅仅是 transformer 权重。它包括压缩后的嵌入、LM head、所有其他模型张量、组缩放、分词器、聊天模板和元数据。运行时内存需求更高。压缩在单张 RTX 5090（32 GB）上运行约 5 小时。我们当前压缩模型的得分：基准测试 原始 BF16 OpenBonsai Prism Bonsai 2；GSM8K（关闭思考）77/100 65/100 77/100；HumanEval（关闭思考）44/50 34/50 45/50；GSM8K（开启思考）36/50 32/50 46/50；HumanEval（开启思考）22/25 14/25 24/25。一些有趣的发现：1. 蒸馏帮助很大。缩放蒸馏改善了开发