趋近智
参数
9B
上下文长度
128K
模态
Text
架构
Dense
KV 缓存速率
40 KB/tok
许可证
MIT License
发布日期
30 Jun 2024
训练数据截止日期
Dec 2023
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 7.00 GB
INT4 · 8K context
基础权重: 4.19 GB
KV 缓存: 0.31 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
7.0 / 21.6 GB usable
1x RTX 3060 12GB
7.0 / 10.8 GB usable
Apple M4 24GB
7.0 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
没有可用的 GLM-4-9B-Chat 评估基准。
排名
-
编程排名
-
GLM-4-9B-Chat 模型是由清华大学知识工程实验室(KEG)与智谱 AI(Z.ai)共同研发的对话式大语言模型。作为第四代通用语言模型(GLM)系列的核心组件,该变体专门针对人类偏好对齐和复杂的后续多轮对话进行了优化。该模型在高达 10 万亿 token 的海量语料库上进行训练,并支持 26 种语言的多语言通信,使其成为适用于全球对话应用的极具通用性的工具。
在架构方面,GLM-4-9B-Chat 基于稠密 Transformer 框架构建,采用 40 层结构,隐藏层维度为 4096。该变体的一项重大技术创新是引入了分组查询注意力(GQA)机制,通过利用两个键值(KV)头来优化显存带宽和推理吞吐量,且不牺牲建模质量。该架构还进一步结合了旋转位置编码(RoPE)以增强长度外推能力,并在前馈网络中使用 SwiGLU 激活函数替代传统的 ReLU,以提升模型的非线性表征能力。模型采用 RMSNorm 进行归一化,确保了其在整个参数空间内维持稳定的训练动态。
GLM-4-9B-Chat 旨在处理高达 128,000 token 的长上下文窗口,使其能够在长文档和冗长的对话历史中保持连贯性。除了标准文本生成外,该模型还集成了先进的工具调用能力,包括自主网络浏览、Python 代码执行和自定义函数调用。这些特性使模型能够与外部环境交互以解决数学问题并执行实时信息检索,使其非常适合部署在高级 AI 助手和自动化智能体(Agent)系统中。
注意力
注意力结构
Multi-Head Attention
注意力头
32
键值头
2
注意力头维度
128
位置嵌入
Absolute Position Embedding
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
4,096
层数
40
FFN 中间层大小(稠密层)
13,696
分词器
词汇量大小
151,552
Z.ai 通用语言大模型