趋近智
活跃参数
754B
上下文长度
200K
模态
Text
架构
Mixture of Experts
KV 缓存速率
88 KB/tok
许可证
MIT
发布日期
7 Apr 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $1.40 · 输出: $4.40
精度
上下文
工作负载显存: 1491.19 GB
FP16 · 8K context
基础权重: 1478.94 GB
KV 缓存: 9.75 GB
运行时与计算图: 2.50 GB
Cluster: 16x NVIDIA H200 141GB
1491.2 / 2030.4 GB usable · TP 8 · PP 2
确定数据中心硬件的需求:
升级至 Pro
排名
#53
| 基准 | 分数 | 排名 |
|---|---|---|
研究生级问答 | 0.862 | 40 |
Agent Arena | -2.22 | 44 |
通用文本 | 1465 | 47 |
Web 开发 | 1508 | 56 |
智能体指数 | auto 0.24 | 71 |
0.56 | 79 | |
auto 0.26 标准 0.24 | 101 117 |
排名
#53
编程排名
#73
GLM-5.1 是 Z.ai 针对长程智能体编程任务(long-horizon agentic coding tasks)推出的旗舰模型。该模型基于创新的 GlmMoeDSA 架构,在 78 层网络中包含 7540 亿总参数(256 个路由专家 + 1 个共享专家,每个 token 激活 8+1 个专家)。它结合了门控 DeltaNet 线性注意力、标准注意力和稀疏 MoE 前馈网络,在保持高效推理的同时提供了顶尖的智能水平。GLM-5.1 在 SWE-Bench Pro (58.4%)、Terminal-Bench 2.0 (63.5%)、AIME 2026 (95.3%) 和 GPQA-Diamond (86.2%) 上均达到了业界领先水平。其独特的设计支持长达 8 小时的持续自主执行,能够将复杂的工程任务拆解为“实验-分析-优化”的迭代循环。模型支持 200K 上下文窗口及 128K 最大输出 token,可通过 Z.ai 和 BigModel.cn 提供的 API(模型调用名为 glm-5.1)获取。该模型于 2026 年 4 月 7 日以 MIT 许可证发布。
注意力
注意力结构
Multi-Layer Attention
注意力头
64
键值头
64
注意力头维度
64
位置嵌入
ROPE
RoPE Theta
1,000,000
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
6,144
层数
78
FFN 中间层大小(稠密层)
2,048
多 Token 预测头数
1
分词器
词汇量大小
154,880
混合专家
专家参数总数
40.0B
专家数量
257
活跃专家
9
共享专家数
1
FFN 中间层大小(每专家)
2,048
MoE 前的稠密层数
3
GLM-5.1 is Z.ai's next-generation flagship model for agentic engineering, built on a novel hybrid MoE architecture (GlmMoeDSA) combining Gated DeltaNet linear attention layers with standard attention and sparse MoE feed-forward networks. It achieves state-of-the-art performance on SWE-Bench Pro (58.4%) and is designed for long-horizon autonomous tasks, capable of sustained execution for up to 8 hours. With 754B total parameters and a 200K context window, GLM-5.1 delivers strong performance across coding, reasoning, tool use, and agentic benchmarks. Released open-source under the MIT License.