趋近智
参数
30.7B
上下文长度
256K
模态
Multimodal
辅助参数
450M
架构
Dense
KV 缓存速率
960 KB/tok
许可证
Apache 2.0
发布日期
2 Apr 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.16 · 输出: $0.47
精度
上下文
工作负载显存: 24.30 GB
INT4 · 8K context
基础权重: 14.30 GB
KV 缓存: 7.50 GB
运行时与计算图: 2.50 GB
1x NVIDIA A40 48GB
24.3 / 43.2 GB usable
2x RTX 4090 24GB
24.3 / 43.2 GB usable · TP 2
Apple M3 Pro 36GB
24.3 / 27.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
排名
#187
| 基准 | 分数 | 排名 |
|---|---|---|
专业知识 | 0.852 | 11 |
研究生级问答 | 0.843 | 47 |
0.68 | 62 | |
0.53 | 62 | |
0.49 | 63 | |
0.42 | 65 | |
LiveBench 平均分 | 0.42 | 65 |
通用文本 | 1452 | 65 |
Agent Arena | -23.7 | 68 |
Web 开发 | 1370 | 92 |
智能体指数 | auto 0.04 | 102 |
0.33 | 116 | |
0.04 | 326 |
排名
#187
编程排名
#137
Gemma 4 31B 是一款旗舰级稠密模型,拥有 307 亿参数和 256K 上下文窗口,为工作站和消费级 GPU 提供顶尖的智能体验。该模型支持文本和图像输入,在编程、推理及多模态理解方面具备业界领先的性能。其特点包括可配置的思考模式和原生函数调用功能,专为高级智能体工作流及 IDE 集成而设计。
注意力
注意力结构
Grouped-Query Attention
注意力头
32
键值头
16
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
1,000,000
滑动窗口注意力
Yes
滑动窗口大小
1,024
滑动窗口比例
83.3%
归一化
RMS Normalization
激活函数
GELU
维度
辅助参数
450M
隐藏维度大小
5,376
层数
60
FFN 中间层大小(稠密层)
21,504
分词器
词汇量大小
262,144
Gemma 4 is Google DeepMind's most advanced open model family, built from Gemini 3 research and technology. Featuring both Dense and Mixture-of-Experts (MoE) architectures, these multimodal models handle text, images, and audio (on smaller variants), with context windows up to 256K tokens. Designed for frontier-level performance across reasoning, coding, and agentic workflows, Gemma 4 delivers unprecedented intelligence-per-parameter from mobile devices to enterprise servers. Released under Apache 2.0 license.