Mistral-Small-2501

系统要求

不同量化方法和上下文大小的显存要求

关于 Mistral-Small-2501

Mistral Small 3，具体为 Mistral-Small-2501 变体，是由 Mistral AI 开发的拥有 240 亿参数的语言模型，专为在生成式人工智能任务中实现最佳效率和低延迟性能而设计。该模型提供预训练基础模型和指令微调（instruction-tuned）检查点两个版本，适用于各种以语言为中心的应用场景。它在 Apache 2.0 许可证下发布，彰显了对开放生态系统的承诺，支持广泛的采用和修改。

Mistral-Small-2501 的架构基础是稠密 Transformer 网络，其设计特点是与大型模型相比包含较少的层数，从而最大限度地减少了每次前向传递的时间。该模型利用分组查询注意力（GQA）来提高推理效率，并集成了旋转位置嵌入（RoPE）以实现有效的位置编码。其层内采用了 SwiGLU 激活函数。凭借 32,768 个 token 的宽大上下文窗口，该模型能够处理和生成长文本序列。它支持多种语言，增强了在全球多元语境下的适用性。

Mistral Small 3 (Mistral-Small-2501) 专为实际部署而设计，强调快速响应。其性能特性使其成为对语言处理速度和准确性有较高要求场景的高效解决方案，例如对话式智能体、自动化函数调用以及通过微调实现的专门领域应用。其高效的架构允许在包括消费级硬件在内的各种计算平台上进行部署，使其适用于本地化推理和对延迟有严格要求的应用。

技术规格

资源

关于 Mistral Small 3

Mistral Small 3 是一款拥有 240 亿参数的模型，专为高效、低延迟的生成式人工智能任务而设计。其优化后的架构支持本地部署，并具备多模态理解、多语言处理能力以及 128,000 token 的上下文窗口。

其他 Mistral Small 3 模型

• 没有相关模型