sensenova/SenseNova-Loop-9B-Preview · Hugging Face

概述 SenseNova-Loop-9B-Preview 是一款为长上下文和智能体工作流开发的多模态语言模型。它接受文本和图像输入，并生成文本，适用于结合文档理解、编程和与外部工具交互的应用。该模型结合了循环解码器和双流流形约束超连接（mHC）。一个连续的解码器层块以共享权重执行两次，而学习到的映射管理循环部分中两个残差流之间的信息流动。这些组件共同提供了更深的执行路径，而无需复制重复块的参数。文档化的训练配方结合了长序列、多模态输入和监督任务轨迹，最大训练序列长度为 262,144 个 token。为获得最佳模型性能，我们建议使用我们文档化的部署环境和配置参数。模型亮点 共享循环块：24 个解码器层按顺序应用两次，从 32 个不同层产生 56 次解码器层执行。双流 mHC：学习到的映射在循环部分中跨两个残差流路由和组合信息。混合注意力：解码器以重复的四层模式交替使用线性和全注意力。长上下文多模态训练：文档化配方包括文本、图像、代码和工具轨迹，序列长度高达 256K token。由 /u/jacek2023 提交 [链接] [评论]