ApX 标志ApX 标志

趋近智

ChatGLM3-6B-32K

参数

6B

上下文长度

33K

模态

Text

架构

Dense

KV 缓存速率

28 KB/tok

许可证

ChatGLM3-6B Model License

发布日期

27 Oct 2023

训练数据截止日期

-

API 价格 (每 1M)

仅支持自建托管

硬件与系统要求

精度

Native

上下文

工作负载显存: 5.51 GB

INT4 · 8K context

基础权重: 2.79 GB

KV 缓存: 0.22 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

5.5 / 21.6 GB usable

1x RTX 3060 12GB

5.5 / 10.8 GB usable

Apple M4 24GB

5.5 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.30.2

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 4.1k · Context: 33K · Vocab: 65kx 28 layersRMSNormPre-AttentionMulti-Head Attention32Q / 2KV headsHead dim: 128+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 13.7k+Final RMSNormOutput Logits

评估基准

没有可用的 ChatGLM3-6B-32K 评估基准。

排名

排名

-

编程排名

-

关于 ChatGLM3-6B-32K

ChatGLM3-6B-32K 是一款先进的大语言模型,专门针对长上下文的理解与生成进行了优化。该模型由智谱 AI 与清华大学 KEG 实验室联合开发,是 ChatGLM3-6B 架构的一个专门变体,经过特殊设计将有效上下文窗口扩展至 32,768 个 token。这一扩展使其能够处理长篇文档、长对话以及超出标准 Transformer 模型限制的复杂技术文本。

该模型的架构基于 28 层稠密 Transformer 框架。它融入了多项技术改进,以在扩展的上下文中保持稳定性和性能,包括使用 RMSNorm 进行归一化,以及采用多查询注意力(MQA)机制来优化推理效率。该变体的一个重要创新是更新了旋转位置嵌入(RoPE)机制,通过修改基频(rope_ratio)来确保在 32K token 范围内实现精确的位置分辨率。此外,该模型在对话阶段采用专门的训练方法,重点提升了长文本的连贯性。

ChatGLM3-6B-32K 旨在实现技术通用性,原生支持通过函数调用(function calling)进行工具调用、通过内置代码解释器执行代码,以及处理复杂的智能体(agent)任务。这些特性使其非常适合构建能够进行深度文本分析和多步推理的高级 AI 智能体。该模型的权重对学术研究开放,并在完成正式登记后可免费进行商业使用,体现了对推动普及高性能自然语言处理技术的承诺。

Specifications

注意力

注意力结构

Multi-Head Attention

注意力头

32

键值头

2

注意力头维度

128

位置嵌入

Absolute Position Embedding

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

4,096

层数

28

FFN 中间层大小(稠密层)

13,696

分词器

词汇量大小

65,024

关于 ChatGLM

来自 Z.ai 的 ChatGLM 系列模型,基于 GLM 架构。


其他 ChatGLM 模型