趋近智
GLM-4.7
活跃参数
358B
上下文长度
200K
模态
Text
架构
Mixture of Experts (MoE)
许可证
MIT
发布日期
8 Jan 2026
训练数据截止日期
Sep 2024
技术规格
注意力
注意力结构
Multi-Head Attention
注意力头
96
键值头
8
注意力头维度
128
位置嵌入
Absolute Position Embedding
RoPE Theta
1,000,000
滑动窗口注意力
No
滑动窗口大小
-
归一化
RMS Normalization
激活函数
Swish
维度
隐藏维度大小
5,120
层数
92
FFN 中间层大小（稠密层）
1,536
多 Token 预测头数
1
分词器
词汇量大小
151,552
混合专家
专家参数总数
32.0B
专家数量
160
活跃专家
8
共享专家数
1
FFN 中间层大小（每专家）
1,536
MoE 前的稠密层数
3
架构图
GLM-4.7
GLM-4.7 是由 Z.ai 开发的大规模混合专家（MoE）模型，专为支持高级智能体编码（Agentic Coding）、复杂推理和多步工具编排而设计。在 GLM-4 系列的基础上，该模型集成了一个复杂的推理系统，在长时交互中优先保障逻辑一致性和任务完成度。它被设计为编码智能体和基于终端自动化的核心引擎，并针对多语言编程以及在复杂软件环境中的自主执行进行了深度优化。
该模型的架构基础包括一套旨在维持推理连贯性的三层思考架构。其中，“交织思考（Interleaved Thinking）”允许模型在每次响应和工具调用前进行内部推理，确保生成的指令符合逻辑约束；“持久思考（Preserved Thinking）”有利于在多轮对话中保留这些推理块，防止在长程任务中常见的上下文衰减；此外，“轮次级思考（Turn-level Thinking）”提供了一种粒度控制机制，允许开发者根据每次交互的具体需求调整推理深度，从而有效管理计算开销和延迟。
除编程外，GLM-4.7 在前端和用户界面开发方面也展现出精进的方法论（通常被称为“氛围编码”/ vibe coding）。此功能专注于生成美学一致且结构合理的 UI 代码，包括现代网页和专业的演示布局。该模型的架构还强调稳健的工具集成，使其能够导航终端环境、执行 Shell 命令并与外部 API 交互，同时在各种自动化场景中保持高度的稳定性和指令遵循度。
关于 GLM-4
GLM-4 是由智谱 AI（Zhipu AI）开发的一系列中英双语语言模型。该系列模型具备超长上下文窗口、卓越的代码性能、先进的推理能力以及强大的智能体（Agent）功能。GLM-4.6 在工具调用和搜索型智能体方面进行了进一步的优化提升。
其他 GLM-4 模型
评估基准
排名
#36
| 基准 | 分数 | 排名 |
|---|---|---|
研究生级问答 GPQA | 0.857 | 8 |
Web 开发 WebDev Arena | 1440 | ⭐ 11 |
0.73 | 27 | |
0.55 | 28 | |
专业知识 MMLU Pro | 0.83 | 28 |
0.42 | 29 | |
0.76 | 29 | |
0.60 | 36 |