Granite Switch 4.1：一个端点搞定对话、决策与语音

Granite Switch 4.1：一个端点搞定对话、决策与语音。具体来说，Granite-Switch-4.1-8B 和 -30B 模型被配置为包含：- 一个全新的 Decision aLoRA，用于通用决策（例如 v1/systemone）；- 一个专门的 Guardian aLoRA，在安全相关决策任务上平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash；- Granite-Speech-5.0-Turbo-CTC，这是 OpenASR 排行榜上最快的 ASR 模型，已嵌入用于转录任务。这三项技术（连同底层基础模型）被组合进一个模型中，在 GPU 上占用的显存大约与基础模型单独运行时相同。这意味着用更少的 GPU 获得更多能力。而且由于 Switch 适配器是作为缓存高效的 Activated LoRA 构建的，基础模型生成时创建的 KV 缓存可以复用于任何后续基于适配器的决策。结合我们团队最近为加速低秩适配器推理所做的 vLLM 贡献，以及一个共置的 ASR 编码器，Granite Switch 4.1 模型可以在聊天请求、决策请求和语音请求之间切换，速度极快。Granite-switch-4.1-8b 可以转录音频、生成摘要、筛查有害内容，并测试 15 种以上通用标记——所有这些都在单个端点上实时运行。Granite Libraries：元老级决策模型。决策模型并不新鲜。我们之前发布的 Granite Libraries 包含一个专门“决策模型”适配器及其他专用任务适配器的仓库，可以组合成自定义的 Granite Switch 模型。虽然 Jev 和其他闭源决策模型专注于通用性，但我们发现许多专门的 granitelib 适配器在专门分类任务上可以超越通用模型。在专门分类任务上评估时，将 granitelib 适配器与通用决策模型进行比较。由于适配器共享基础模型的 KV 缓存，添加专门