ApX 标志ApX 标志

趋近智

GLM-4V

参数

9B

上下文长度

128K

模态

Multimodal

架构

Dense

许可证

MIT License

发布日期

15 Jan 2024

训练数据截止日期

-

系统要求

不同量化方法和上下文大小的显存要求

1024 个令牌

21.10 GB VRAM

消费级

1x RTX 4090

24GB VRAM

数据中心

1x NVIDIA A100

80GB VRAM

Apple Silicon

1x Apple M3 Max

128GB VRAM

128000 个令牌

108.48 GB VRAM

消费级

5x RTX 4090

24GB VRAM

数据中心

2x NVIDIA A100

80GB VRAM

Apple Silicon

1x Apple M3 Max

128GB VRAM

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 4.1k · Context: 128K · Vocab: 151.6kx 40 layersRMSNormPre-AttentionMulti-Head Attention32Q / 32KV headsHead dim: 128+RMSNormPre-FFNFeed-Forward NetworkActivationIntermediate: 13.7k+Final RMSNormOutput Logits

评估基准

没有可用的 GLM-4V 评估基准。

排名

排名

-

编程排名

-

关于 GLM-4V

由 Z.ai 开发的 GLM-4V 模型变体代表了多模态人工智能领域的重大进步。作为 GLM-4 系列的一员,它旨在处理和解析高分辨率图像、视频数据以及文本输入。该架构实现了视觉与语言特征的深度融合,使模型能够执行复杂的多模态任务,同时不会损耗其自然语言处理能力。其设计目标是为理解多样化的数据模态提供一个统一的框架。

在技术上,GLM-4V 采用了精密的架构,包括视觉编码器(Visual Encoder)、MLP 投影器(MLP Projector)以及语言解码器(Language Decoder)。视觉编码器处理包括图像和视频在内的视觉输入,通常采用改进的 Vision Transformer (ViT),并能处理任意图像宽高比和高达 4K 像素的分辨率。MLP 投影器充当中间介质,将视觉特征转换为与语言模型兼容的格式,并可能结合 3D-RoPE 等技术以增强空间理解。语言解码器基于底层 GLM 架构,负责整合处理后的视觉和文本信息,从而生成连贯的文本响应。

GLM-4V 专为支持多种实际应用而设计,包括视觉问答、图像描述和复杂目标检测。其能力还扩展到了视频理解,通过结合时序信息来有效分析序列。该模型的设计重点是在需要视觉感知和高级语言推理的任务中提供稳健的性能,例如 STEM 学科的交互式辅导或根据视觉问题生成分步骤的解决方案。

技术规格

注意力

注意力结构

Multi-Head Attention

注意力头

32

键值头

32

注意力头维度

128

位置嵌入

Absolute Position Embedding

RoPE Theta

-

滑动窗口注意力

No

滑动窗口大小

-

滑动窗口比例

-

线性注意力

-

线性注意力比例

-

归一化

RMS Normalization

激活函数

-

维度

隐藏维度大小

4,096

层数

40

FFN 中间层大小(稠密层)

13,696

多 Token 预测头数

-

分词器

词汇量大小

151,552

模型完整性

总分

B

68 / 100

关于 GLM Family

Z.ai 通用语言大模型


其他 GLM Family 模型