ApX 标志ApX 标志

趋近智

Gemma 4 12B

参数

11.95B

上下文长度

262K

模态

Multimodal

辅助参数

550M

架构

Dense

KV 缓存速率

384 KB/tok

许可证

Apache-2.0

发布日期

3 Jun 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.10 · 输出: $0.30

硬件选型

精度

上下文

工作负载显存: 11.06 GB

INT4 · 8K context

基础权重: 5.56 GB

KV 缓存: 3.00 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

11.1 / 21.6 GB usable

1x RTX 4060 Ti 16GB

11.1 / 14.4 GB usable

Apple M4 24GB

11.1 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 3.8k · Context: 262K · Vocab: 262.1kx 48 layersRMSNormPre-AttentionMulti-Head Attention16Q / 8KV heads · SW: 1kHead dim: 256+RMSNormPre-FFNFeed-Forward NetworkGELUIntermediate: 15.4k+Final RMSNormOutput Logits

评估基准

排名

#135

基准分数排名

专业知识

MMLU Pro

0.772

34

研究生级问答

GPQA

0.788

68

0.31

118

auto

0.14

标准

0.09

206

244

排名

排名

#135

编程排名

#121

关于 Gemma 4 12B

Google DeepMind 于 2026 年 6 月 3 日发布的 12B 稠密开源权重模型,填补了边缘侧友好的 E4B 与更先进的 26B MoE 之间的空白。该模型采用了独特的无编码器统一架构,通过轻量级线性层将原始图像块和音频波形直接投影到 LLM 嵌入空间,从而消除了独立编码器带来的延迟和内存开销。它支持 256K token 上下文、原生文本/图像/音频输入以及可配置的思考模式,并可在配备 16GB 内存的消费级笔记本电脑上运行。

技术规格

注意力

注意力结构

Multi-Head Attention

注意力头

16

键值头

8

注意力头维度

256

位置嵌入

Absolute Position Embedding

RoPE Theta

10,000

滑动窗口注意力

Yes

滑动窗口大小

1,024

滑动窗口比例

83.3%

归一化

RMS Normalization

激活函数

GELU

维度

辅助参数

550M

隐藏维度大小

3,840

层数

48

FFN 中间层大小(稠密层)

15,360

分词器

词汇量大小

262,144

关于 Gemma 4

Gemma 4 is Google DeepMind's most advanced open model family, built from Gemini 3 research and technology. Featuring both Dense and Mixture-of-Experts (MoE) architectures, these multimodal models handle text, images, and audio (on smaller variants), with context windows up to 256K tokens. Designed for frontier-level performance across reasoning, coding, and agentic workflows, Gemma 4 delivers unprecedented intelligence-per-parameter from mobile devices to enterprise servers. Released under Apache 2.0 license.


其他 Gemma 4 模型