ApX 标志ApX 标志

趋近智

Gemma 4 31B

参数

30.7B

上下文长度

256K

模态

Multimodal

辅助参数

450M

架构

Dense

KV 缓存速率

960 KB/tok

许可证

Apache 2.0

发布日期

2 Apr 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.16 · 输出: $0.47

硬件选型

精度

上下文

工作负载显存: 24.30 GB

INT4 · 8K context

基础权重: 14.30 GB

KV 缓存: 7.50 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA A40 48GB

24.3 / 43.2 GB usable

2x RTX 4090 24GB

24.3 / 43.2 GB usable · TP 2

Apple M3 Pro 36GB

24.3 / 27.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 5.4k · Context: 256K · Vocab: 262.1kx 60 layersRMSNormPre-AttentionGrouped-Query Attention32Q / 16KV heads · SW: 1kHead dim: 256+RMSNormPre-FFNFeed-Forward NetworkGELUIntermediate: 21.5k+Final RMSNormOutput Logits

评估基准

排名

#187

基准分数排名

专业知识

MMLU Pro

0.852

11

研究生级问答

GPQA

0.843

47

0.68

62

0.53

62

0.49

63

0.42

65

LiveBench 平均分

LiveBench Average

0.42

65

通用文本

Text Arena

1452

65

Agent Arena

Agent Arena

-23.7

68

Web 开发

WebDev Arena

1370

92

智能体指数

Artificial Analysis
auto

0.04

102

0.33

116

0.04

326

排名

排名

#187

编程排名

#137

关于 Gemma 4 31B

Gemma 4 31B 是一款旗舰级稠密模型,拥有 307 亿参数和 256K 上下文窗口,为工作站和消费级 GPU 提供顶尖的智能体验。该模型支持文本和图像输入,在编程、推理及多模态理解方面具备业界领先的性能。其特点包括可配置的思考模式和原生函数调用功能,专为高级智能体工作流及 IDE 集成而设计。

技术规格

注意力

注意力结构

Grouped-Query Attention

注意力头

32

键值头

16

注意力头维度

256

位置嵌入

ROPE

RoPE Theta

1,000,000

滑动窗口注意力

Yes

滑动窗口大小

1,024

滑动窗口比例

83.3%

归一化

RMS Normalization

激活函数

GELU

维度

辅助参数

450M

隐藏维度大小

5,376

层数

60

FFN 中间层大小(稠密层)

21,504

分词器

词汇量大小

262,144

关于 Gemma 4

Gemma 4 is Google DeepMind's most advanced open model family, built from Gemini 3 research and technology. Featuring both Dense and Mixture-of-Experts (MoE) architectures, these multimodal models handle text, images, and audio (on smaller variants), with context windows up to 256K tokens. Designed for frontier-level performance across reasoning, coding, and agentic workflows, Gemma 4 delivers unprecedented intelligence-per-parameter from mobile devices to enterprise servers. Released under Apache 2.0 license.


其他 Gemma 4 模型