趋近智
活跃参数
25.2B
上下文长度
256K
模态
Multimodal
辅助参数
450M
架构
Mixture of Experts
KV 缓存速率
240 KB/tok
许可证
Apache 2.0
发布日期
2 Apr 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.05 · 输出: $0.29
精度
上下文
工作负载显存: 17.88 GB
INT4 · 8K context
基础权重: 13.50 GB
KV 缓存: 1.88 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
17.9 / 21.6 GB usable
2x RTX 4090 24GB
17.9 / 43.2 GB usable · TP 2
Apple M4 24GB
17.9 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.5.0.dev0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#119
| 基准 | 分数 | 排名 |
|---|---|---|
专业知识 | 0.826 | 20 |
研究生级问答 | 0.823 | 57 |
通用文本 | 1437 | 86 |
Web 开发 | 1359 | 99 |
智能体指数 | auto 0.03 | 105 |
0.39 | 107 | |
auto 0.17 标准 0.13 | 196 217 |
排名
#119
编程排名
#113
Gemma 4 26B A4B 是一款混合专家 (MoE) 模型,总参数量为 25.2B,但每次推理仅激活 3.8B 参数,在提供接近 31B 模型性能的同时,实现了 4B 模型级的推理速度。该模型拥有 128 个专家(其中 8 个激活),配备 256K 上下文窗口,并支持文本和图像输入。它针对消费级 GPU 的快速推理进行了优化,同时具备前沿水平的推理和编程能力。
注意力
注意力结构
Grouped-Query Attention
注意力头
16
键值头
8
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000
滑动窗口注意力
Yes
滑动窗口大小
1,024
滑动窗口比例
83.3%
归一化
RMS Normalization
激活函数
GELU
维度
基准精度
FP16
辅助参数
450M
隐藏维度大小
2,112
层数
30
FFN 中间层大小(稠密层)
704
分词器
词汇量大小
262,144
混合专家
专家参数总数
3.8B
专家数量
128
活跃专家
8
FFN 中间层大小(每专家)
704
Gemma 4 is Google DeepMind's most advanced open model family, built from Gemini 3 research and technology. Featuring both Dense and Mixture-of-Experts (MoE) architectures, these multimodal models handle text, images, and audio (on smaller variants), with context windows up to 256K tokens. Designed for frontier-level performance across reasoning, coding, and agentic workflows, Gemma 4 delivers unprecedented intelligence-per-parameter from mobile devices to enterprise servers. Released under Apache 2.0 license.