Mistral Large 4 1T-A52B模型于Hugging Face发布
原文:mistralai/Mistral-Large-4-1T-A52B · Hugging Face
https://huggingface.co/ggml-org/Mistral-Large-4-1T-A52B-GGUF https://huggingface.co/ggml-org/Mistral-Large-4-1T-A52B-NVFP4-GGUF https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF 来自 Mistral:Mistral Large 4 - Le Chonk。Mistral Large 4 是我们迄今为止最大、能力最强的模型:一个 1 万亿参数的原生多模态混合专家模型,每 token 激活 490 亿参数(含嵌入和输出层为 520 亿),在 Mistral 位于欧洲的自有数据中心内使用 3,800 块 NVIDIA Grace Blackwell GPU 从零训练。Mistral Large 4 将指令遵循、推理、编码和智能体工作流统一在一组权重中。虽然是一个通用模型,但它在网络安全、金融和法律等工作负载上表现尤为出色,并在视觉定位方面超越了前沿闭源模型。它原生流利支持 160 多种语言,包括欧盟所有官方语言。更多信息请见我们的博客。该模型也以 mistral-large-4 的名称在 Mistral API 上提供服务。关键特性:Mistral Large 4 包含以下架构选择:约 1T 总参数 / 约 52B 激活参数:细粒度混合专家,128 个路由专家(每 token 激活 4 个)和 1 个共享专家。1M 上下文长度,适用于长上下文工作负载。多模态输入:接受文本和图像输入,输出文本。Pixtral 风格视觉编码器,训练用于处理可变图像尺寸和宽高比。指令和推理功能,支持函数调用,推理力度可按请求配置。Mistral Large 4 提供以下能力:推理模式:三档推理力度——低、中、高(默认)——使同一模型既能回答快速聊天回复,也能处理复杂的智能体运行。视觉:分析图像、图表、技术图纸和文档,在开放权重中拥有最先进的视觉定位能力。多语言:原生流利支持 160 多种语言,包括欧盟所有官方语言。