ApX 标志ApX 标志

趋近智

GLM-4-9B-Chat

参数

9B

上下文长度

128K

模态

Text

架构

Dense

KV 缓存速率

40 KB/tok

许可证

MIT License

发布日期

30 Jun 2024

训练数据截止日期

Dec 2023

API 价格 (每 1M)

仅支持自建托管

硬件选型

精度

上下文

工作负载显存: 7.00 GB

INT4 · 8K context

基础权重: 4.19 GB

KV 缓存: 0.31 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

7.0 / 21.6 GB usable

1x RTX 3060 12GB

7.0 / 10.8 GB usable

Apple M4 24GB

7.0 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 4.1k · Context: 128K · Vocab: 151.6kx 40 layersRMSNormPre-AttentionMulti-Head Attention32Q / 2KV headsHead dim: 128+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 13.7k+Final RMSNormOutput Logits

评估基准

没有可用的 GLM-4-9B-Chat 评估基准。

排名

排名

-

编程排名

-

关于 GLM-4-9B-Chat

GLM-4-9B-Chat 模型是由清华大学知识工程实验室(KEG)与智谱 AI(Z.ai)共同研发的对话式大语言模型。作为第四代通用语言模型(GLM)系列的核心组件,该变体专门针对人类偏好对齐和复杂的后续多轮对话进行了优化。该模型在高达 10 万亿 token 的海量语料库上进行训练,并支持 26 种语言的多语言通信,使其成为适用于全球对话应用的极具通用性的工具。

在架构方面,GLM-4-9B-Chat 基于稠密 Transformer 框架构建,采用 40 层结构,隐藏层维度为 4096。该变体的一项重大技术创新是引入了分组查询注意力(GQA)机制,通过利用两个键值(KV)头来优化显存带宽和推理吞吐量,且不牺牲建模质量。该架构还进一步结合了旋转位置编码(RoPE)以增强长度外推能力,并在前馈网络中使用 SwiGLU 激活函数替代传统的 ReLU,以提升模型的非线性表征能力。模型采用 RMSNorm 进行归一化,确保了其在整个参数空间内维持稳定的训练动态。

GLM-4-9B-Chat 旨在处理高达 128,000 token 的长上下文窗口,使其能够在长文档和冗长的对话历史中保持连贯性。除了标准文本生成外,该模型还集成了先进的工具调用能力,包括自主网络浏览、Python 代码执行和自定义函数调用。这些特性使模型能够与外部环境交互以解决数学问题并执行实时信息检索,使其非常适合部署在高级 AI 助手和自动化智能体(Agent)系统中。

技术规格

注意力

注意力结构

Multi-Head Attention

注意力头

32

键值头

2

注意力头维度

128

位置嵌入

Absolute Position Embedding

归一化

RMS Normalization

激活函数

SwigLU

维度

隐藏维度大小

4,096

层数

40

FFN 中间层大小(稠密层)

13,696

分词器

词汇量大小

151,552