开源多模态决策模型d1发布，3B版本登顶榜单
原文：Multimodal open d1 decision models for the edge
面向边缘设备的多模态开放 d1 决策模型——在 Decision Index 0.2.1 上，10B 以下最佳决策模型：d1-3B 得分 48.57，领先于所有 4B 和 9B 模型，以及 Decider 35B-A3B（47.11）。- 多模态：d1-3B 支持文本和图像，而 d1-omni-600M 支持文本和图像或文本和音频 - 快速：d1-3B 在 NVIDIA Jetson AGX Thor 上回答一个问题仅需 16 毫秒，在 Jetson AGX Orin 上为 26 毫秒，在 Jetson Orin Nano 上为 50 毫秒。我们如何构建面向边缘设备的决策模型。这些开放的 d1 决策模型构建在我们的 Liquid Foundation Models（LFMs）之上。与我们的生成式模型不同，决策模型不生成 token，而是在单次前向传播中给出答案。d1-3B 和 d1-omni-600M 基于两个非常不同的骨干网络训练而成：- d1-3B 基于 LFM2.5-VL-3B 训练，这是我们最新的 VLM，采用仅解码器架构。它接受文本和图像作为输入。- d1-omni-600M 基于 LFM2.5-Encoder-350M 训练，这是一个双向编码器。它增加了视觉和音频编码器以处理全部三种模态。它接受文本和图像，或文本和音频作为输入。该模型目前处于早期研究发布阶段，仍在进一步开发中。基准测试结果。我们在七个公开数据集上对 d1-3B 和 d1-omni-600M 进行了基准测试，涵盖阅读理解、毒性检测、意图分类、医学问答和跨语言理解。d1-3B 取得平均分 82.9，为表中最高，并高于 Decider 4B。d1-omni-600M 得分为 78.4，以仅四分之一的参数量超过了 Decider 2B（77.1）。| Benchmark | d1-omni-600M | d1-3B | Decider 2B | Decider 4B | |---|---|---|---|---| | SQuAD 2.0 | 74.0 | 83.3 | 67.7 | 76.0 | | Civil Comments | 95.8 | 93.3 | 93.6 | 92.8 | | MASSIVE intent | 86.1 | 86.9 | 81.1 | 88.3 | | PubMedQA | 61.3 | 68.3 | 65.7 | 63.3 | | BoolQ | 77.7 | 86.3 | 87.3 | 89.0 | | XNLI | 74.7 | 85.6 | 85.0 | 88.6 | | PAWS-X | 79.5 | 76.4 | 59.5 | 69.8 | | Mean | 78.4 | 82.9 | 77.1 | 81.1 | 我们验证了 d1-3B 保留了