参数
123B
上下文长度
128K
模态
Text
架构
Dense
KV 缓存速率
512 KB/tok
许可证
Mistral Research License
发布日期
24 Jul 2024
训练数据截止日期
Mar 2024
API 价格 (每 1M)
输入: $2.00 · 输出: $6.00
精度
上下文
工作负载显存: 235.61 GB
FP16 · 8K context
基础权重: 229.11 GB
KV 缓存: 4.00 GB
运行时与计算图: 2.50 GB
8x NVIDIA H100 80GB
235.6 / 576.0 GB usable · TP 8
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.40.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#187
| 基准 | 分数 | 排名 |
|---|---|---|
通用文本 | 1315 | 165 |
0.08 | 282 | |
QA 助手 已归档 | 0.964 | 5 |
StackEval 已归档 | 0.876 | 10 |
通用知识 参考指标 | 0.84 | 14 |
文本摘要 已归档 | 0.729 | 19 |
排名
#187
编程排名
-
Mistral Large 2 (Mistral-Large-2407) 是一款先进的稠密 Transformer 模型,旨在提供卓越的语言理解与计算推理能力。作为该模型系列的旗舰代表,它采用了拥有 1230 亿参数的仅解码器(decoder-only)架构。这一特定的参数量经过精心选择,旨在优化单节点推理,使模型能够在企业级硬件上实现高吞吐量,而无需应对多节点分布式部署的复杂性。该模型旨在处理大规模数据集和长文本内容,在代码生成、数学定理证明和多步逻辑演绎等复杂任务中保持高准确性。
该模型的架构融合了 Transformer 设计领域的多项现代进展,以提升计算效率和性能。它采用了分组查询注意力(GQA)机制,包含 48 个注意力头和 8 个键值头,以降低推理过程中的显存开销,特别是在处理其高达 128,000 个 token 的庞大上下文窗口时。位置信息通过旋转位置嵌入(RoPE)进行管理,并且模型利用 RMS Norm 来实现更稳定的层归一化。前馈网络集成了 SwiGLU 激活函数,与传统的 ReLU 或 GELU 方案相比,它提供了更具表现力的门控机制;同时利用 Flash Attention 来优化处理过程中的速度和资源利用率。
Mistral Large 2 针对自动化工作流和智能体(agentic)系统中的多场景部署进行了优化。它原生支持 80 多种编程语言和数十种人类语言,确保在全球多语言环境中的熟练应用。该模型经过专门微调,显著提升了指令遵循和高精度函数调用能力,使其能够有效地与外部工具对接并生成结构化的 JSON 输出。通过专注于最大限度减少幻觉并增强回答的简洁性,该架构为需要高速处理和复杂推理能力的企业级应用提供了可靠的基础。
注意力
注意力结构
Grouped-Query Attention
注意力头
48
键值头
8
位置嵌入
ROPE
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
12,288
层数
64
Mistral Large 2 是一款拥有 1230 亿参数的稠密 Transformer 模型,专为高级语言和代码生成而打造,支持超过 80 种编程语言。其 128,000 token 的上下文窗口支持在单节点上实现复杂推理和长上下文应用。该模型还集成了增强的函数调用能力。