ApX 标志ApX 标志

趋近智

GLM-4.7

活跃参数

358B

上下文长度

200K

模态

Text

架构

Mixture of Experts (MoE)

许可证

MIT

发布日期

8 Jan 2026

训练数据截止日期

Sep 2024

系统要求

不同量化方法和上下文大小的显存要求

1024 个令牌

753.71 GB VRAM

消费级

42x RTX 4090

24GB VRAM

数据中心

11x NVIDIA A100

80GB VRAM

Apple Silicon

9x Apple M3 Max

128GB VRAM

200000 个令牌

832.43 GB VRAM

消费级

47x RTX 4090

24GB VRAM

数据中心

13x NVIDIA A100

80GB VRAM

Apple Silicon

10x Apple M3 Max

128GB VRAM

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 5.1k · Context: 200K · Vocab: 151.6kx 92 layersRMSNormPre-AttentionMulti-Head Attention96Q / 8KV headsHead dim: 128+RMSNormPre-FFNSparse MoE FFN (8/160 experts)SwishIntermediate: 1.5k+Final RMSNormOutput Logits

评估基准

排名

#48

基准分数排名

研究生级问答

GPQA

0.857

8

Web 开发

WebDev Arena

1440

22

0.73

28

0.55

28

专业知识

MMLU Pro

0.83

28

智能编程

LiveBench Agentic

0.42

29

0.76

29

通用文本

Text Arena

1443

34

0.60

36

排名

排名

#48

编程排名

#43

关于 GLM-4.7

GLM-4.7 是由 Z.ai 开发的大规模混合专家(MoE)模型,专为支持高级智能体编码(Agentic Coding)、复杂推理和多步工具编排而设计。在 GLM-4 系列的基础上,该模型集成了一个复杂的推理系统,在长时交互中优先保障逻辑一致性和任务完成度。它被设计为编码智能体和基于终端自动化的核心引擎,并针对多语言编程以及在复杂软件环境中的自主执行进行了深度优化。

该模型的架构基础包括一套旨在维持推理连贯性的三层思考架构。其中,“交织思考(Interleaved Thinking)”允许模型在每次响应和工具调用前进行内部推理,确保生成的指令符合逻辑约束;“持久思考(Preserved Thinking)”有利于在多轮对话中保留这些推理块,防止在长程任务中常见的上下文衰减;此外,“轮次级思考(Turn-level Thinking)”提供了一种粒度控制机制,允许开发者根据每次交互的具体需求调整推理深度,从而有效管理计算开销和延迟。

除编程外,GLM-4.7 在前端和用户界面开发方面也展现出精进的方法论(通常被称为“氛围编码”/ vibe coding)。此功能专注于生成美学一致且结构合理的 UI 代码,包括现代网页和专业的演示布局。该模型的架构还强调稳健的工具集成,使其能够导航终端环境、执行 Shell 命令并与外部 API 交互,同时在各种自动化场景中保持高度的稳定性和指令遵循度。

技术规格

注意力

注意力结构

Multi-Head Attention

注意力头

96

键值头

8

注意力头维度

128

位置嵌入

Absolute Position Embedding

RoPE Theta

1,000,000

滑动窗口注意力

No

滑动窗口大小

-

滑动窗口比例

-

线性注意力

-

线性注意力比例

-

归一化

RMS Normalization

激活函数

Swish

维度

隐藏维度大小

5,120

层数

92

FFN 中间层大小(稠密层)

1,536

多 Token 预测头数

1

分词器

词汇量大小

151,552

混合专家

专家参数总数

32.0B

专家数量

160

活跃专家

8

共享专家数

1

FFN 中间层大小(每专家)

1,536

MoE 前的稠密层数

3

模型完整性

总分

C+

54 / 100

关于 GLM-4

GLM-4 是由智谱 AI(Zhipu AI)开发的一系列中英双语语言模型。该系列模型具备超长上下文窗口、卓越的代码性能、先进的推理能力以及强大的智能体(Agent)功能。GLM-4.6 在工具调用和搜索型智能体方面进行了进一步的优化提升。


其他 GLM-4 模型
GLM-4.7:规格和 GPU 显存要求