参数
32B
上下文长度
131K
模态
Text
架构
Dense
KV 缓存速率
159 KB/tok
许可证
Apache 2.0
发布日期
19 Sept 2024
训练数据截止日期
Jun 2024
API 价格 (每 1M)
输入: $0.87 · 输出: $0.87
精度
上下文
工作负载显存: 18.65 GB
INT4 · 8K context
基础权重: 14.90 GB
KV 缓存: 1.25 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
18.6 / 21.6 GB usable
2x RTX 4090 24GB
18.6 / 43.2 GB usable · TP 2
Apple M3 Pro 36GB
18.6 / 27.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.43.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#180
| 基准 | 分数 | 排名 |
|---|---|---|
0.38 | 34 | |
专业知识 | 0.69 | 45 |
研究生级问答 | 0.495 | 104 |
0.07 | 283 | |
通用知识 参考指标 | 0.833 | 16 |
编程 已归档 | 0.16 | 19 |
排名
#180
编程排名
#144
Qwen2.5-32B 模型是阿里云 Qwen 团队开发的 Qwen2.5 系列大语言模型的重要组成部分。该迭代版本在先前模型的基础上进行了改进,为广泛的自然语言处理任务提供了增强的能力。其设计优先考虑了强大的指令遵循能力、有效的长文本生成,以及对包括 JSON 格式在内的结构化数据的复杂理解和生成。该模型在面对各种系统提示词时也表现出更高的稳定性,这有利于开发对话智能体和设定特定的对话条件。此外,它提供了涵盖 29 种以上语言的全面多语言支持,扩展了其在全球环境中的适用性。
在架构上,Qwen2.5-32B 是一个稠密型、仅解码器(decoder-only)的 Transformer 模型。它集成了多个先进组件以优化性能和效率。这些组件包括用于有效位置编码的旋转位置嵌入(RoPE)、作为激活函数以增强非线性的 SwiGLU,以及用于稳定训练和提高收敛性的 RMSNorm。为了优化推理速度和键值(KV)缓存利用率,该模型采用了分组查询注意力(GQA)。其底层的训练过程涉及大规模数据集,数据量扩展至约 18 万亿个 Token,这有助于丰富其知识库,特别是在代码、数学和多种语言等领域。
Qwen2.5-32B 的运行特性在各种复杂任务中展现出卓越的性能。该模型变体擅长处理长上下文,支持高达 131,072 个 Token 的序列。它具备生成长文本的能力,输出长度可达 8,192 个 Token,使其适用于需要详细回答或大规模内容创作的应用场景。虽然基座模型是通用的,但 Qwen2.5 的架构基础也被用于专门的变体(例如针对代码或多模态视觉语言任务优化的版本),彰显了 Qwen2.5 框架的多功能性。
注意力
注意力结构
Grouped-Query Attention
注意力头
96
键值头
8
位置嵌入
ROPE
RoPE Theta
1,000,000
滑动窗口注意力
No
滑动窗口大小
131,072
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
8,192
层数
60
FFN 中间层大小(稠密层)
27,648
分词器
词汇量大小
152,064
阿里巴巴的 Qwen2.5 是一个稠密、仅解码器(decoder-only)架构的语言模型系列,提供多种参数规模,其中部分变体采用了专家混合(Mixture-of-Experts)技术。这些模型在大规模数据集上进行了预训练,支持扩展的上下文长度和多语言交流。该系列还包含针对编程、数学以及视觉和音频处理等多模态任务的专业化模型。