活跃参数
753.9B
上下文长度
1.05M
模态
Text
架构
Mixture of Experts
KV 缓存速率
3744 KB/tok
许可证
other
发布日期
25 Aug 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $1.40 · 输出: $4.40
精度
上下文
工作负载显存: 1532.11 GB
FP16 · 8K context
基础权重: 1500.36 GB
KV 缓存: 29.25 GB
运行时与计算图: 2.50 GB
16x NVIDIA H200 141GB
1532.1 / 2030.4 GB usable · TP 8 · PP 2
确定特定工作负载的硬件需求:
升级至 Pro
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.15.0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashMLA |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#22
| 基准 | 分数 | 排名 |
|---|---|---|
智能体指数 | max 0.53 | 6 |
0.61 | 12 | |
max 0.75 | 23 | |
通用文本 | max 1482 | 27 |
0.79 | 27 | |
0.76 | 28 | |
LiveBench 平均分 | 0.76 | 29 |
Web 开发 | max 1622 | 31 |
0.86 | 33 | |
Agent Arena | max 0.03 | 40 |
0.88 | 41 | |
0.70 | 48 | |
max 0.32 low 0.23 | 88 153 |
排名
#22
编程排名
#28
GLM-5.3 是由智谱 AI / Z.ai 开发的大规模专家混合(MoE)语言模型,采用了动态稀疏注意力机制。它具备业界领先的多语言理解、复杂数学推理及编程能力。
注意力
注意力结构
DeepSeek Sparse Attention
注意力头
64
键值头
64
注意力头维度
192
位置嵌入
ROPE
RoPE Theta
8,000,000
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
6,144
层数
78
FFN 中间层大小(稠密层)
12,288
多 Token 预测头数
1
分词器
词汇量大小
154,880
混合专家
专家参数总数
51.6B
专家数量
256
活跃专家
8
共享专家数
1
FFN 中间层大小(每专家)
2,048
MoE 前的稠密层数
3
Z.ai 通用语言大模型