GLM-5.3 Flash

活跃参数

313.3B

上下文长度

1.05M

模态

Text

架构

Mixture of Experts

KV 缓存速率

1440 KB/tok

许可证

MIT License

发布日期

25 Aug 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.15 · 输出: $0.50

硬件与系统要求

精度

Native

上下文

工作负载显存: 629.54 GB

FP16 · 8K context

基础权重: 615.79 GB

KV 缓存: 11.25 GB

运行时与计算图: 2.50 GB

最小所需硬件

8x NVIDIA H200 141GB

629.5 / 1015.2 GB usable · TP 8

确定特定工作负载的硬件需求:

升级至 Pro

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.16.0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 4.1k · Context: 1.05M · Vocab: 154.9kx 45 layersRMSNormPre-AttentionDeepSeek Sparse Attention64Q / 64KV headsHead dim: 128+RMSNormPre-FFNSparse MoE FFN (8/288 experts)SwiGLUIntermediate: 2k+Final RMSNormOutput Logits

评估基准

排名

#84

基准分数排名

智能体指数

Artificial Analysis

0.51

13

智能编程

LiveBench Agentic

0.57

22

0.79

27

0.76

31

Web 开发

WebDev Arena

1610.48

35

0.71

37

通用文本

Text Arena

1475

40

Agent Arena

Agent Arena

1045.63

46

0.72

51

LiveBench 平均分

LiveBench Average

0.72

51

0.81

54

0.78

57

0.28

118

排名

排名

#84

编程排名

#58

关于 GLM-5.3 Flash

GLM-5.3 Flash 是一款专为快速推理和低延迟推理负载设计的高效开源模型。它基于 Glm5Next 架构构建,为智能体(Agent)应用和代码生成提供了优化的吞吐量。

Specifications

注意力

注意力结构

DeepSeek Sparse Attention

注意力头

64

键值头

64

注意力头维度

128

位置嵌入

ROPE

线性注意力

Yes

线性注意力比例

75.6%

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

4,096

层数

45

FFN 中间层大小(稠密层)

12,288

多 Token 预测头数

1

分词器

词汇量大小

154,880

混合专家

专家参数总数

17.3B

专家数量

288

活跃专家

8

共享专家数

1

FFN 中间层大小(每专家)

2,048

MoE 前的稠密层数

3