GLM-5.3

活跃参数

753.9B

上下文长度

1.05M

模态

Text

架构

Mixture of Experts

KV 缓存速率

3744 KB/tok

许可证

other

发布日期

25 Aug 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $1.40 · 输出: $4.40

硬件与系统要求

精度

Native

上下文

工作负载显存: 1532.11 GB

FP16 · 8K context

基础权重: 1500.36 GB

KV 缓存: 29.25 GB

运行时与计算图: 2.50 GB

最小所需硬件

16x NVIDIA H200 141GB

1532.1 / 2030.4 GB usable · TP 8 · PP 2

确定特定工作负载的硬件需求:

升级至 Pro

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.15.0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashMLA

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 6.1k · Context: 1.05M · Vocab: 154.9kx 78 layersRMSNormPre-AttentionDeepSeek Sparse Attention64Q / 64KV headsHead dim: 192+RMSNormPre-FFNSparse MoE FFN (8/256 experts)SwiGLUIntermediate: 2k+Final RMSNormOutput Logits

评估基准

排名

#22

基准分数排名

智能体指数

Artificial Analysis
max

0.53

6

智能编程

LiveBench Agentic

0.61

12

max

0.75

23

通用文本

Text Arena
max

1482

27

0.79

27

0.76

28

LiveBench 平均分

LiveBench Average

0.76

29

Web 开发

WebDev Arena
max

1622

31

0.86

33

Agent Arena

Agent Arena
max

0.03

40

0.88

41

0.70

48

max

0.32

low

0.23

88

153

排名

排名

#22

编程排名

#28

关于 GLM-5.3

GLM-5.3 是由智谱 AI / Z.ai 开发的大规模专家混合(MoE)语言模型,采用了动态稀疏注意力机制。它具备业界领先的多语言理解、复杂数学推理及编程能力。

Specifications

注意力

注意力结构

DeepSeek Sparse Attention

注意力头

64

键值头

64

注意力头维度

192

位置嵌入

ROPE

RoPE Theta

8,000,000

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

6,144

层数

78

FFN 中间层大小(稠密层)

12,288

多 Token 预测头数

1

分词器

词汇量大小

154,880

混合专家

专家参数总数

51.6B

专家数量

256

活跃专家

8

共享专家数

1

FFN 中间层大小(每专家)

2,048

MoE 前的稠密层数

3