趋近智
参数
11.95B
上下文长度
262K
模态
Multimodal
辅助参数
550M
架构
Dense
KV 缓存速率
384 KB/tok
许可证
Apache-2.0
发布日期
3 Jun 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.10 · 输出: $0.30
精度
上下文
工作负载显存: 11.06 GB
INT4 · 8K context
基础权重: 5.56 GB
KV 缓存: 3.00 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
11.1 / 21.6 GB usable
1x RTX 4060 Ti 16GB
11.1 / 14.4 GB usable
Apple M4 24GB
11.1 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
排名
#135
编程排名
#121
Google DeepMind 于 2026 年 6 月 3 日发布的 12B 稠密开源权重模型,填补了边缘侧友好的 E4B 与更先进的 26B MoE 之间的空白。该模型采用了独特的无编码器统一架构,通过轻量级线性层将原始图像块和音频波形直接投影到 LLM 嵌入空间,从而消除了独立编码器带来的延迟和内存开销。它支持 256K token 上下文、原生文本/图像/音频输入以及可配置的思考模式,并可在配备 16GB 内存的消费级笔记本电脑上运行。
注意力
注意力结构
Multi-Head Attention
注意力头
16
键值头
8
注意力头维度
256
位置嵌入
Absolute Position Embedding
RoPE Theta
10,000
滑动窗口注意力
Yes
滑动窗口大小
1,024
滑动窗口比例
83.3%
归一化
RMS Normalization
激活函数
GELU
维度
辅助参数
550M
隐藏维度大小
3,840
层数
48
FFN 中间层大小(稠密层)
15,360
分词器
词汇量大小
262,144
Gemma 4 is Google DeepMind's most advanced open model family, built from Gemini 3 research and technology. Featuring both Dense and Mixture-of-Experts (MoE) architectures, these multimodal models handle text, images, and audio (on smaller variants), with context windows up to 256K tokens. Designed for frontier-level performance across reasoning, coding, and agentic workflows, Gemma 4 delivers unprecedented intelligence-per-parameter from mobile devices to enterprise servers. Released under Apache 2.0 license.