ApX 标志ApX 标志

趋近智

Gemma 4 26B A4B

活跃参数

25.2B

上下文长度

256K

模态

Multimodal

辅助参数

450M

架构

Mixture of Experts

KV 缓存速率

240 KB/tok

许可证

Apache 2.0

发布日期

2 Apr 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.05 · 输出: $0.29

硬件与系统要求

精度

Native

上下文

工作负载显存: 17.88 GB

INT4 · 8K context

基础权重: 13.50 GB

KV 缓存: 1.88 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

17.9 / 21.6 GB usable

2x RTX 4090 24GB

17.9 / 43.2 GB usable · TP 2

Apple M4 24GB

17.9 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.5.0.dev0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 2.1k · Context: 256K · Vocab: 262.1kx 30 layersRMSNormPre-AttentionGrouped-Query Attention16Q / 8KV heads · SW: 1kHead dim: 256+RMSNormPre-FFNSparse MoE FFN (8/128 experts)GELUIntermediate: 704+Final RMSNormOutput Logits

评估基准

排名

#119

基准分数排名

专业知识

MMLU Pro

0.826

20

研究生级问答

GPQA

0.823

57

通用文本

Text Arena

1437

86

Web 开发

WebDev Arena

1359

99

智能体指数

Artificial Analysis
auto

0.03

105

0.39

107

auto

0.17

标准

0.13

196

217

排名

排名

#119

编程排名

#113

关于 Gemma 4 26B A4B

Gemma 4 26B A4B 是一款混合专家 (MoE) 模型,总参数量为 25.2B,但每次推理仅激活 3.8B 参数,在提供接近 31B 模型性能的同时,实现了 4B 模型级的推理速度。该模型拥有 128 个专家(其中 8 个激活),配备 256K 上下文窗口,并支持文本和图像输入。它针对消费级 GPU 的快速推理进行了优化,同时具备前沿水平的推理和编程能力。

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

16

键值头

8

注意力头维度

256

位置嵌入

ROPE

RoPE Theta

10,000

滑动窗口注意力

Yes

滑动窗口大小

1,024

滑动窗口比例

83.3%

归一化

RMS Normalization

激活函数

GELU

维度

基准精度

FP16

辅助参数

450M

隐藏维度大小

2,112

层数

30

FFN 中间层大小(稠密层)

704

分词器

词汇量大小

262,144

混合专家

专家参数总数

3.8B

专家数量

128

活跃专家

8

FFN 中间层大小(每专家)

704

关于 Gemma 4

Gemma 4 is Google DeepMind's most advanced open model family, built from Gemini 3 research and technology. Featuring both Dense and Mixture-of-Experts (MoE) architectures, these multimodal models handle text, images, and audio (on smaller variants), with context windows up to 256K tokens. Designed for frontier-level performance across reasoning, coding, and agentic workflows, Gemma 4 delivers unprecedented intelligence-per-parameter from mobile devices to enterprise servers. Released under Apache 2.0 license.


其他 Gemma 4 模型