趋近智
GLM-5.1
活跃参数
754B
上下文长度
200K
模态
Text
架构
Mixture of Experts (MoE)
许可证
MIT
发布日期
7 Apr 2026
训练数据截止日期
-
技术规格
注意力
注意力结构
Multi-Layer Attention
注意力头
64
键值头
64
注意力头维度
64
位置嵌入
ROPE
RoPE Theta
1,000,000
滑动窗口注意力
No
滑动窗口大小
-
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
6,144
层数
78
FFN 中间层大小（稠密层）
2,048
多 Token 预测头数
1
分词器
词汇量大小
154,880
混合专家
专家参数总数
-
专家数量
257
活跃专家
9
共享专家数
1
FFN 中间层大小（每专家）
2,048
MoE 前的稠密层数
3
架构图
GLM-5.1
GLM-5.1 是 Z.ai 针对长程智能体编程任务（long-horizon agentic coding tasks）推出的旗舰模型。该模型基于创新的 GlmMoeDSA 架构，在 78 层网络中包含 7540 亿总参数（256 个路由专家 + 1 个共享专家，每个 token 激活 8+1 个专家）。它结合了门控 DeltaNet 线性注意力、标准注意力和稀疏 MoE 前馈网络，在保持高效推理的同时提供了顶尖的智能水平。GLM-5.1 在 SWE-Bench Pro (58.4%)、Terminal-Bench 2.0 (63.5%)、AIME 2026 (95.3%) 和 GPQA-Diamond (86.2%) 上均达到了业界领先水平。其独特的设计支持长达 8 小时的持续自主执行，能够将复杂的工程任务拆解为“实验-分析-优化”的迭代循环。模型支持 200K 上下文窗口及 128K 最大输出 token，可通过 Z.ai 和 BigModel.cn 提供的 API（模型调用名为 glm-5.1）获取。该模型于 2026 年 4 月 7 日以 MIT 许可证发布。
关于 GLM-5.1
GLM-5.1 is Z.ai's next-generation flagship model for agentic engineering, built on a novel hybrid MoE architecture (GlmMoeDSA) combining Gated DeltaNet linear attention layers with standard attention and sparse MoE feed-forward networks. It achieves state-of-the-art performance on SWE-Bench Pro (58.4%) and is designed for long-horizon autonomous tasks, capable of sustained execution for up to 8 hours. With 754B total parameters and a 200K context window, GLM-5.1 delivers strong performance across coding, reasoning, tool use, and agentic benchmarks. Released open-source under the MIT License.
其他 GLM-5.1 模型
- 没有相关模型
评估基准
排名
#1
| 基准 | 分数 | 排名 |
|---|---|---|
Web 开发 WebDev Arena | 1537 | 🥉 3 |