趋近智
参数
5.1B
上下文长度
128K
模态
Multimodal
辅助参数
400M
架构
Dense
KV 缓存速率
35 KB/tok
许可证
Apache 2.0
发布日期
2 Apr 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 5.15 GB
INT4 · 8K context
基础权重: 2.37 GB
KV 缓存: 0.27 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
5.1 / 21.6 GB usable
1x RTX 3060 12GB
5.1 / 10.8 GB usable
Apple M4 24GB
5.1 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
排名
#200
编程排名
#160
Gemma 4 E2B 是一款专为移动和物联网设备设计的超高效模型,拥有 23 亿有效参数(采用逐层嵌入时为 51 亿)。该模型支持文本、图像和音频输入,具备 128K 上下文窗口,可在边缘设备上以接近零延迟和离线运行的方式提供前沿能力。此外,它还内置了推理模式和原生函数调用功能,支持智能体工作流。
注意力
注意力结构
Grouped-Query Attention
注意力头
8
键值头
1
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000
滑动窗口注意力
Yes
滑动窗口大小
512
滑动窗口比例
83.3%
归一化
RMS Normalization
激活函数
GELU
维度
基准精度
BF16
辅助参数
400M
隐藏维度大小
6,144
层数
35
FFN 中间层大小(稠密层)
6,144
分词器
词汇量大小
262,144
Gemma 4 is Google DeepMind's most advanced open model family, built from Gemini 3 research and technology. Featuring both Dense and Mixture-of-Experts (MoE) architectures, these multimodal models handle text, images, and audio (on smaller variants), with context windows up to 256K tokens. Designed for frontier-level performance across reasoning, coding, and agentic workflows, Gemma 4 delivers unprecedented intelligence-per-parameter from mobile devices to enterprise servers. Released under Apache 2.0 license.