Liquid发布新一代多模态模型LFM3
原文：Build specialized multimodal models with LFM3
用LFM3构建专业化的多模态模型。LFM3是我们新一代的Liquid Foundation Models（LFMs），旨在作为专业化智能的起点。它将文本、视觉、音频、全模态和决策模型整合到同一个共享骨干上，全部处于20亿参数级别。这意味着你可以为你的模态选择模型，在单块GPU上用自有数据对其进行微调，并将其部署到你的应用运行的地方。与之前的LFM2系列相比，LFM3带来了四项主要变化：- 每参数更强能力：新的三混合架构和训练配方使LFM3-1.7B在参数减少35%的情况下超越LFM2.5-2.6B。- 所有模态共享一个骨干：六个20亿级模型（文本、视觉、音频、全模态和决策）均从LFM3-1.7B-Base训练而来，包括我们的首个全模态模型以及视觉模型的视频输入。- 为边缘而建：文本模型在4位精度下仅占约1 GB，新的自研视觉和音频编码器加速处理，文本模型的256K上下文窗口让智能体可在设备端运行。- 为专业化而生：每个模型均可在单块GPU上微调，因此你可以将其适配到你的数据、术语和部署环境。我们如何构建更具表现力的骨干。LFM2表明，短卷积与注意力的混合架构可以在设备端快速运行而不牺牲质量。对于LFM3，我们使用硬件在环架构搜索，为智能体用例重新设计了该架构——这些用例需要每参数更强能力以及长上下文下的快速推理。搜索现在覆盖14种设备和后端组合，从手机和Raspberry Pi 5到笔记本电脑、云CPU、GPU以及Qualcomm Hexagon NPU。LFM3-1.7B-Base有24层和四项主要变化：- 三混合层组合：13个门控短卷积、5个滑动窗口注意力（SWA）层（窗口为256个token）和6个全局注意力层。卷积的核大小为7，高于LFM2中的3。- 逐头门控注意力：一个sigmoid门控s