趋近智
活跃参数
357B
上下文长度
200K
模态
Text
架构
Mixture of Experts
KV 缓存速率
368 KB/tok
许可证
MIT
发布日期
30 Sept 2025
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.50 · 输出: $2.00
精度
上下文
工作负载显存: 729.94 GB
FP16 · 8K context
基础权重: 724.57 GB
KV 缓存: 2.88 GB
运行时与计算图: 2.50 GB
8x NVIDIA H200 141GB
729.9 / 1015.2 GB usable · TP 8
确定特定工作负载的硬件需求:
升级至 Pro
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.54.0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#120
| 基准 | 分数 | 排名 |
|---|---|---|
0.68 | 18 | |
研究生级问答 | 0.81 | 62 |
通用文本 | 1424 | 94 |
0.46 | 95 | |
Web 开发 | 1342 | 102 |
auto 0.18 标准 0.15 | 179 207 |
排名
#120
编程排名
#95
GLM-4.6 是由 Z.ai 开发的大语言模型,旨在推动人工智能领域的高级应用。该模型经过精心设计,能够在一系列复杂任务中高效运行,包括高级编程、长上下文处理和智能体(Agent)操作。其支持中英双语的能力扩展了它在不同语言环境下的适用性。该模型旨在为构建具备细致推理和自主交互能力的智能系统提供稳健的基础。
在架构方面,GLM-4.6 采用了混合专家(MoE)配置,总参数量达 3570 亿,在单次前向传播中激活的参数量为 320 亿。模型设计的上下文窗口扩展至 200,000 个 token,使其能够在处理长输入序列时保持连贯性。其注意力机制的创新包括具有 96 个注意力头的分组查询注意力(GQA),以及用于位置编码的部分旋转位置嵌入(RoPE)。模型通过 QK-Norm 进行归一化管理,有助于稳定注意力 Logits。这些架构选择旨在平衡计算效率与复杂认知操作中的卓越性能。
GLM-4.6 的运行特性针对现实世界的开发工作流进行了优化。它展现了卓越的代码编写性能,能够生成视觉效果更精美的前端页面,并提升了实际应用效果。该模型表现出增强的推理能力,并在推理过程中通过集成的工具调用功能进一步得到强化。这有助于创建更强大的智能体,使其精通基于搜索的任务和角色扮演场景。此外,GLM-4.6 显著提高了 token 效率,与前代模型 GLM-4.5 相比,完成任务所需的 token 减少了约 15%,从而提供了更具成本效益的推理方案。
注意力
注意力结构
Multi-Head Attention
注意力头
96
键值头
8
注意力头维度
128
位置嵌入
Absolute Position Embedding
RoPE Theta
1,000,000
归一化
RMS Normalization
激活函数
Swish
维度
基准精度
FP16
隐藏维度大小
5,120
层数
92
FFN 中间层大小(稠密层)
1,536
多 Token 预测头数
1
分词器
词汇量大小
151,552
混合专家
专家参数总数
32.0B
专家数量
160
活跃专家
8
共享专家数
1
FFN 中间层大小(每专家)
1,536
MoE 前的稠密层数
3
GLM-4 是由智谱 AI(Zhipu AI)开发的一系列中英双语语言模型。该系列模型具备超长上下文窗口、卓越的代码性能、先进的推理能力以及强大的智能体(Agent)功能。GLM-4.6 在工具调用和搜索型智能体方面进行了进一步的优化提升。