欢迎 Le Chonk：Hugging Face 上的 Mistral Large 4

欢迎 Le Chonk：Hugging Face 上的 Mistral Large 4 Mistral Large 4（又名 Le Chonk）是 Mistral 推出的一款多模态、多语言混合专家（MoE）模型。它以文本和图像为输入，生成文本。总参数量约 1T，激活参数 49B，上下文窗口为 100 万 token。该模型发布有两个官方变体。此外还有 Unsloth 和 llama.cpp 团队制作的 GGUF 版本。它依据 Mistral 生态系统开放权重许可证分发（一个 MIT 衍生许可证，对模型即服务类产品设定了限制）。Mistral Large 4 在网络安全、编程智能体和多模态方面尤为强大。本文我们将介绍该模型的工作原理、能力、架构等！目录 Mistral Large 4 有什么新东西 Mistral Large 4 将庞大的专家池与稀疏注意力和 Pixtral 视觉编码器相结合。语言模型为每个 token 选择一小群专家，而其注意力索引器则选择要关注哪些更早的 token 位置。这是两种不同形式的稀疏性，一个选择前馈网络，另一个选择上下文位置。你可以在 Mistral Large 4 集合中找到所有检查点。网络安全能力 Mistral Large 4 在 Artificial Analysis Cyber Index 测试中得分 82%，该测试要求模型复现开源软件中的真实漏洞，然后修补该软件。Mistral 报告称，若干闭源前沿模型在同一测试中得分接近零，因为它们拒绝尝试这项工作。这对防御方至关重要，因为修复漏洞通常需要先复现漏洞。在 Mistral 的内部测试中，Mistral Large 4 在恶意软件分析、漏洞优先级排序和编写检测规则方面也很有用，而这些并非该模型被明确训练过的任务。Mistral 主要将该模型定位用于防御性安全工作。漏洞研究和事件响应在模型中常常看起来像攻击