趋近智
参数
27B
上下文长度
128K
模态
Multimodal
辅助参数
430M
架构
Dense
KV 缓存速率
184 KB/tok
许可证
Gemma Terms of Use
发布日期
12 Mar 2025
训练数据截止日期
Aug 2024
API 价格 (每 1M)
输入: $0.08 · 输出: $0.35
精度
上下文
工作负载显存: 16.51 GB
INT4 · 8K context
基础权重: 12.57 GB
KV 缓存: 1.44 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
16.5 / 21.6 GB usable
2x RTX 4090 24GB
16.5 / 43.2 GB usable · TP 2
Apple M4 24GB
16.5 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.40.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#167
| 基准 | 分数 | 排名 |
|---|---|---|
StackUnseen | 0.372 | 28 |
专业知识 | 0.675 | 48 |
研究生级问答 | 0.424 | 113 |
智能体指数 | 0.1 | 127 |
通用文本 | 1365 | 143 |
0.10 | 146 | |
0.05 | 321 | |
StackEval 已归档 | 0.905 | 8 |
文本摘要 已归档 | 0.802 | 12 |
QA 助手 已归档 | 0.913 | 14 |
编程 已归档 | 0.05 | 24 |
排名
#167
编程排名
#136
Gemma 3 是由 Google DeepMind 开发的一系列轻量级、最先进的模型,采用了源自 Gemini 模型的研究成果与技术。Gemma 3 27B 变体是一款多模态模型,旨在处理文本和图像输入并生成文本输出。该模型变体适用于广泛的生成任务,包括问答、摘要和复杂推理,并支持 140 多种语言。其设计重点在于支持在多种硬件上部署,从笔记本电脑、工作站等消费级设备到专用的云端基础设施。
注意力
注意力结构
Grouped-Query Attention
注意力头
64
键值头
16
位置嵌入
ROPE
归一化
RMS Normalization
维度
基准精度
FP16
辅助参数
430M
隐藏维度大小
4,096
层数
46
Gemma 3 是由 Google 推出的一系列开放、轻量化的模型。它引入了多模态图像与文本处理能力,支持超过 140 种语言,并具备高达 128K token 的扩展上下文窗口。该家族提供多种参数规模的模型,以适用于多样化的应用场景。