参数
1B
上下文长度
33K
模态
Text
架构
Dense
KV 缓存速率
39 KB/tok
许可证
Gemma License
发布日期
12 Mar 2025
训练数据截止日期
Aug 2024
API 价格 (每 1M)
输入: $0.00 · 输出: $0.00
精度
上下文
工作负载显存: 3.27 GB
INT4 · 8K context
基础权重: 0.47 GB
KV 缓存: 0.30 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
3.3 / 21.6 GB usable
1x RTX 3060 12GB
3.3 / 10.8 GB usable
Apple M4 24GB
3.3 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.40.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#243
编程排名
-
Gemma 3 1B 是 Google 开发的 Gemma 3 系列中的一款轻量化语言模型 (SLM),专为在手机和 Web 应用程序等资源受限的设备上进行高效部署和运行而设计。该模型旨在实现 AI 能力的本地化执行,以解决用户数据隐私和云端推理成本的相关问题。其架构源自支撑 Gemini 系列模型的相同研究与技术,强调在紧凑的体积内实现最先进的性能。
在架构上,Gemma 3 1B 采用了仅解码器 (decoder-only) 的 Transformer 设计,针对文本生成等自回归任务进行了优化。Gemma 3 的一项显著创新是其交错注意力 (interleaved attention) 机制,该机制整合了全局和局部注意力层,以增强对长序列的上下文理解。这使得模型在处理长文档时,既能保持整体连贯性,又能保留较小章节内的细粒度细节。1B 变体拥有 32,000 个 token 的上下文窗口,能够处理大量的文本输入。它使用包含 262,000 个词条的 SentencePiece 分词器,支持超过 140 种语言,便于各种语言应用。与其较大的 Gemma 3 同类模型不同,1B 模型专门用于纯文本处理,不具备多模态能力。
Gemma 3 1B 专为高吞吐量而设计,表现出每秒处理高达 2585 个 token 的能力,可实现快速的内容处理。它针对包括 NVIDIA GPU、Google Cloud TPU 和 AMD GPU 在内的多种硬件平台进行了优化,确保了广泛的兼容性。该模型可以在内存极小的设备(如 4GB RAM 的设备)上有效运行。Gemma 3 1B 的实际应用场景包括:根据应用程序数据生成描述、为交互式角色创建上下文感知的对话、在即时通讯应用中建议上下文相关的回复,以及通过与 AI Edge RAG SDK 等技术集成,为长文档提供问答系统支持。该模型以开放权重形式提供,允许开发人员根据特定项目需求进行微调和部署。
注意力
注意力结构
Grouped-Query Attention
注意力头
16
键值头
4
位置嵌入
ROPE
归一化
RMS Normalization
维度
基准精度
FP16
隐藏维度大小
1,536
层数
26
Gemma 3 是由 Google 推出的一系列开放、轻量化的模型。它引入了多模态图像与文本处理能力,支持超过 140 种语言,并具备高达 128K token 的扩展上下文窗口。该家族提供多种参数规模的模型,以适用于多样化的应用场景。