Magistral Small

技术规格

Magistral Small

Magistral Small 是由 Mistral AI 开发的一款拥有 240 亿参数的开源推理模型。其架构基于 Mistral Small 3.1 模型，专门为实现透明的多步推理而设计。该模型能够以用户的语言提供可追溯的思维过程，这一特性旨在增强复杂任务的可解释性和可审计性。它支持超过 24 种语言的多语言推理，包括英语、法语、德语、日语、韩语、中文、阿拉伯语和波斯语等全球通用语言。

从技术角度来看，Magistral Small 采用了仅解码器（decoder-only）的 Transformer 架构，在 32 层网络中拥有 14,336 的隐藏层维度。该模型利用分组查询注意力（GQA）机制，包含 32 个注意力头和 8 个键值头，与传统的多头注意力（MHA）相比，这有助于优化推理速度并降低显存消耗。位置信息通过旋转位置嵌入（RoPE）进行集成，其前馈组件结合了 SwiGLU 激活函数和 RMS 归一化（RMS Normalization）以稳定训练动态。该架构还集成了 FlashAttention 以实现加速处理。虽然模型支持 128,000 个 token 的理论上下文窗口，但最佳性能通常在 40,000 个 token 以内的上下文中体现。

Magistral Small 精通多模态理解，能够对文本和视觉输入进行处理和推理。它特别适用于需要结构化计算、编程逻辑、决策树和基于规则的系统的应用。该模型的设计使其能够胜任多种场景，包括快速响应的对话代理、长文档理解系统、视觉理解应用以及特定领域的微调。此外，它还通过原生函数调用和结构化输出生成，支持智能体（agentic）AI 工作流。

推荐 GPU

资源