ApX 标志ApX 标志

趋近智

Gemma 4 E2B

参数

5.1B

上下文长度

128K

模态

Multimodal

辅助参数

400M

架构

Dense

KV 缓存速率

35 KB/tok

许可证

Apache 2.0

发布日期

2 Apr 2026

训练数据截止日期

-

API 价格 (每 1M)

仅支持自建托管

硬件与系统要求

精度

Native

上下文

工作负载显存: 5.15 GB

INT4 · 8K context

基础权重: 2.37 GB

KV 缓存: 0.27 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

5.1 / 21.6 GB usable

1x RTX 3060 12GB

5.1 / 10.8 GB usable

Apple M4 24GB

5.1 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 6.1k · Context: 128K · Vocab: 262.1kx 35 layersRMSNormPre-AttentionGrouped-Query Attention8Q / 1KV heads · SW: 512Head dim: 256+RMSNormPre-FFNFeed-Forward NetworkGELUIntermediate: 6.1k+Final RMSNormOutput Logits

评估基准

排名

#200

基准分数排名

专业知识

MMLU Pro

0.6

55

研究生级问答

GPQA

0.434

112

0.07

151

auto

0.08

标准

0.07

261

288

排名

排名

#200

编程排名

#160

关于 Gemma 4 E2B

Gemma 4 E2B 是一款专为移动和物联网设备设计的超高效模型,拥有 23 亿有效参数(采用逐层嵌入时为 51 亿)。该模型支持文本、图像和音频输入,具备 128K 上下文窗口,可在边缘设备上以接近零延迟和离线运行的方式提供前沿能力。此外,它还内置了推理模式和原生函数调用功能,支持智能体工作流。

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

8

键值头

1

注意力头维度

256

位置嵌入

ROPE

RoPE Theta

10,000

滑动窗口注意力

Yes

滑动窗口大小

512

滑动窗口比例

83.3%

归一化

RMS Normalization

激活函数

GELU

维度

基准精度

BF16

辅助参数

400M

隐藏维度大小

6,144

层数

35

FFN 中间层大小(稠密层)

6,144

分词器

词汇量大小

262,144

关于 Gemma 4

Gemma 4 is Google DeepMind's most advanced open model family, built from Gemini 3 research and technology. Featuring both Dense and Mixture-of-Experts (MoE) architectures, these multimodal models handle text, images, and audio (on smaller variants), with context windows up to 256K tokens. Designed for frontier-level performance across reasoning, coding, and agentic workflows, Gemma 4 delivers unprecedented intelligence-per-parameter from mobile devices to enterprise servers. Released under Apache 2.0 license.


其他 Gemma 4 模型