ApX 标志ApX 标志

趋近智

GLM-4.7

活跃参数

358B

上下文长度

200K

模态

Text

架构

Mixture of Experts

KV 缓存速率

368 KB/tok

许可证

MIT

发布日期

8 Jan 2026

训练数据截止日期

Sep 2024

API 价格 (每 1M)

输入: $0.60 · 输出: $2.20

硬件与系统要求

精度

Native

上下文

工作负载显存: 731.81 GB

FP16 · 8K context

基础权重: 726.43 GB

KV 缓存: 2.88 GB

运行时与计算图: 2.50 GB

最小所需硬件

8x NVIDIA H200 141GB

731.8 / 1015.2 GB usable · TP 8

确定特定工作负载的硬件需求:

升级至 Pro

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.54.0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 5.1k · Context: 200K · Vocab: 151.6kx 92 layersRMSNormPre-AttentionMulti-Head Attention96Q / 8KV headsHead dim: 128+RMSNormPre-FFNSparse MoE FFN (8/160 experts)SwishIntermediate: 1.5k+Final RMSNormOutput Logits

评估基准

排名

#86

基准分数排名

专业知识

MMLU Pro

0.843

18

研究生级问答

GPQA

0.857

42

Web 开发

WebDev Arena

1435

76

通用文本

Text Arena

1441

81

0.45

96

auto

0.22

标准

0.17

145

190

排名

排名

#86

编程排名

#100

关于 GLM-4.7

GLM-4.7 是由 Z.ai 开发的大规模混合专家(MoE)模型,专为支持高级智能体编码(Agentic Coding)、复杂推理和多步工具编排而设计。在 GLM-4 系列的基础上,该模型集成了一个复杂的推理系统,在长时交互中优先保障逻辑一致性和任务完成度。它被设计为编码智能体和基于终端自动化的核心引擎,并针对多语言编程以及在复杂软件环境中的自主执行进行了深度优化。

该模型的架构基础包括一套旨在维持推理连贯性的三层思考架构。其中,“交织思考(Interleaved Thinking)”允许模型在每次响应和工具调用前进行内部推理,确保生成的指令符合逻辑约束;“持久思考(Preserved Thinking)”有利于在多轮对话中保留这些推理块,防止在长程任务中常见的上下文衰减;此外,“轮次级思考(Turn-level Thinking)”提供了一种粒度控制机制,允许开发者根据每次交互的具体需求调整推理深度,从而有效管理计算开销和延迟。

除编程外,GLM-4.7 在前端和用户界面开发方面也展现出精进的方法论(通常被称为“氛围编码”/ vibe coding)。此功能专注于生成美学一致且结构合理的 UI 代码,包括现代网页和专业的演示布局。该模型的架构还强调稳健的工具集成,使其能够导航终端环境、执行 Shell 命令并与外部 API 交互,同时在各种自动化场景中保持高度的稳定性和指令遵循度。

Specifications

注意力

注意力结构

Multi-Head Attention

注意力头

96

键值头

8

注意力头维度

128

位置嵌入

Absolute Position Embedding

RoPE Theta

1,000,000

归一化

RMS Normalization

激活函数

Swish

维度

基准精度

FP16

隐藏维度大小

5,120

层数

92

FFN 中间层大小(稠密层)

1,536

多 Token 预测头数

1

分词器

词汇量大小

151,552

混合专家

专家参数总数

32.0B

专家数量

160

活跃专家

8

共享专家数

1

FFN 中间层大小(每专家)

1,536

MoE 前的稠密层数

3

关于 GLM-4

GLM-4 是由智谱 AI(Zhipu AI)开发的一系列中英双语语言模型。该系列模型具备超长上下文窗口、卓越的代码性能、先进的推理能力以及强大的智能体(Agent)功能。GLM-4.6 在工具调用和搜索型智能体方面进行了进一步的优化提升。


其他 GLM-4 模型