GLM-4-9B

系统要求

不同量化方法和上下文大小的显存要求

没有可用的 GLM-4-9B 评估基准。

关于 GLM-4-9B

GLM-4-9B 是由智谱 AI 和清华大学 THUDM 实验室开发的通用语言模型（GLM）系列中的重要迭代版本。这款拥有 90 亿参数的模型旨在计算效率与高水平语言性能之间取得卓越平衡，支持涵盖 26 种语言的多语言语料库。它适用于多种应用场景，包括高吞吐量翻译、自动化内容合成以及复杂的问答系统。该模型以 MIT 许可证开源权重，旨在促进广泛的社区采纳以及大规模预训练领域的学术研究。

在架构上，GLM-4-9B 基于稠密 Transformer 框架构建，并结合了多项结构优化。它利用分组查询注意力（GQA）机制，配备 32 个注意力头和 2 个键值（KV）头，在保持强大语义表示能力的同时减少了推理过程中的显存开销。该模型在 10 万亿 token 的预训练过程中采用了自回归空白填充目标，增强了其处理基于前缀的生成和双向理解的能力。为了支持长上下文处理，它采用了旋转位置嵌入（RoPE），并能够通过 YaRN（Yet another RoPE extensioN）缩放技术将上下文窗口扩展至 128,000 个 token。

GLM-4-9B 架构中的技术改进包括使用 RMSNorm 以实现稳定的层归一化，以及使用 SiLU（Sigmoid 线性单元）激活函数（通常在 SwiGLU 风格的前馈网络中实现）。其设计特意取消了大多数线性层中的偏置项（Query、Key 和 Value 组件除外），这一选择旨在提高模型的外推能力。该模型作为多个专业变体的基础架构，例如用于人类对齐对话的 GLM-4-9B-Chat 和用于多模态视觉语言任务的 GLM-4V-9B，展示了其作为生产级 AI 系统基础架构的通用性。

技术规格

资源

关于 GLM Family

Z.ai 通用语言大模型

其他 GLM Family 模型

• GLM-4V
• GLM-4-9B-Chat-1M
• GLM-4-9B-Chat
• GLM-4
• GLM-4.5-Air
• GLM-130B
• GLM-4.5