GLM-4

参数

32B

上下文长度

128K

模态

Text

架构

Dense

KV 缓存速率

61 KB/tok

许可证

Custom Commercial License with Restrictions

发布日期

15 Jan 2024

训练数据截止日期

Dec 2023

API 价格 (每 1M)

输入: $0.44 · 输出: $1.76

硬件与系统要求

精度

Native

上下文

工作负载显存: 17.88 GB

INT4 · 8K context

基础权重: 14.90 GB

KV 缓存: 0.48 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

17.9 / 21.6 GB usable

2x RTX 4090 24GB

17.9 / 43.2 GB usable · TP 2

Apple M4 24GB

17.9 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.44.0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 6.1k · Context: 128K · Vocab: 151.6kx 61 layersRMSNormPre-AttentionMulti-Head Attention48Q / 2KV headsHead dim: 128+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 13.7k+Final RMSNormOutput Logits

评估基准

排名

#174

基准分数排名

通用文本

Text Arena

1319

161

排名

排名

#174

编程排名

-

关于 GLM-4

GLM-4 32B 模型是由 Z.ai 开发的基础大语言模型,代表了通用语言模型 (GLM) 架构向 320 亿参数规模的重大扩展。该模型旨在平衡高阶推理能力与计算效率,可作为高级智能体应用、复杂代码生成和精密双语文本处理的多功能核心。它在 GLM-4 系列中占据战略地位,既提供了深度语言理解所需的结构复杂度,又保持了适用于多种部署环境的资源占用。

在技术层面,该模型采用了稠密 Transformer 架构,并通过在 15 万亿 token 的海量语料库上进行广泛预训练而优化。该训练集包含高比例的合成推理数据,专门用于增强模型的逻辑推理和问题解决能力。其架构设计融合了旋转位置编码 (RoPE) 和分组查询注意力 (GQA) 等现代先进技术,共同保障了在高达 128,000 token 的上下文窗口内实现稳定的性能和高效的推理。为确保高质量的输出,模型经过了包含人类偏好对齐、拒绝采样和强化学习在内的多阶段后训练流水线。

GLM-4 32B 专门针对需要结构化输出和自主工具交互的场景进行了优化。其性能特性使其在工程级代码生成、精准的搜索问答以及详细技术产物的创建方面尤为出色。该模型精炼的指令遵循和强大的函数调用能力,使其能够作为智能体的主引擎,在多种软件环境和知识领域中规划并执行多步任务。

Specifications

注意力

注意力结构

Multi-Head Attention

注意力头

48

键值头

2

注意力头维度

128

位置嵌入

Absolute Position Embedding

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

6,144

层数

61

FFN 中间层大小(稠密层)

13,696

分词器

词汇量大小

151,552