趋近智
活跃参数
176B
上下文长度
66K
模态
Text
架构
Mixture of Experts
KV 缓存速率
37 KB/tok
许可证
Apache 2.0
发布日期
10 Apr 2024
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.90 · 输出: $0.90
精度
上下文
工作负载显存: 371.59 GB
FP16 · 8K context
基础权重: 368.80 GB
KV 缓存: 0.29 GB
运行时与计算图: 2.50 GB
8x NVIDIA H100 80GB
371.6 / 576.0 GB usable · TP 8
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.38.0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#219
| 基准 | 分数 | 排名 |
|---|---|---|
通用文本 | 1230 | 181 |
0.06 | 311 | |
文本摘要 已归档 | 0.587 | 25 |
排名
#219
编程排名
-
Mixtral-8x22B-v0.1 是由 Mistral AI 开发的大型语言模型,其特点是采用了稀疏混合专家(SMoE)架构。这种设计方法使模型能够高效地处理广泛的自然语言处理任务,包括文本生成和理解。该模型的架构旨在平衡计算需求与高性能,使其适用于需要强大语言理解能力的应用程序。
Mixtral-8x22B-v0.1 架构的核心包含一个由八个专业神经网络专家组成的系统,每个专家都为模型的整体处理能力做出贡献。虽然该模型总共包含 1,760 亿个参数,但其稀疏激活机制确保了对于任何给定的输入标记,仅有两个专家处于激活状态。这种选择性激活使得活动参数量约为 390 亿个,与同等总规模的密集激活模型相比,显著降低了推理过程中的计算负载。该模型基于仅解码器(decoder-only)的 Transformer 框架运行,并利用稀疏激活模式来优化性能。
Mixtral-8x22B-v0.1 在多个领域展现了卓越的能力,包括多语言理解、数学问题解答和代码生成。它精通英语、法语、意大利语、德语和西班牙语。此外,它还结合了原生函数调用(function calling)能力,增强了其在集成应用环境中的实用性。这些特性使其成为开发聊天机器人、内容创作、文档摘要以及受益于其处理长上下文窗口能力的复杂问答系统的强大工具。
注意力
注意力结构
Grouped-Query Attention
注意力头
48
键值头
8
位置嵌入
ROPE
RoPE Theta
1,000,000
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
1,024
层数
56
FFN 中间层大小(稠密层)
16,384
分词器
词汇量大小
32,000
混合专家
专家参数总数
22.0B
专家数量
8
活跃专家
2
FFN 中间层大小(每专家)
16,384
Mixtral 模型系列由 Mistral AI 开发,采用了稀疏混合专家 (SMoE) 架构。该设计在每一层中利用多个专家网络,通过路由器选择其中的一个子集来处理每个词元 (token)。这使得模型在每次前向传播仅激活一小部分参数的情况下,既能拥有庞大的总参数量,又能保持出色的计算效率。