趋近智
参数
2B
上下文长度
8K
模态
Text
架构
Dense
KV 缓存速率
48 KB/tok
许可证
Apache 2.0
发布日期
14 Sept 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
精度
工作负载显存: 3.43 GB
INT4
基础权重: 0.93 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
3.4 / 21.6 GB usable
1x RTX 3060 12GB
3.4 / 10.8 GB usable
Apple M4 24GB
3.4 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.18.0.dev0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
没有可用的 EmbeddingGemma 2 评估基准。
排名
-
编程排名
-
EmbeddingGemma 2 is a specialized text embedding model based on Google's Gemma 2 architecture. It is designed for high-performance semantic search, retrieval-augmented generation, and text similarity tasks.
注意力
注意力结构
Single-Head Attention
注意力头
4
键值头
2
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000
滑动窗口注意力
Yes
滑动窗口大小
512
滑动窗口比例
83.3%
归一化
RMS Normalization
激活函数
Gated GELU
维度
基准精度
FP16
隐藏维度大小
512
层数
24
FFN 中间层大小(稠密层)
2,048
分词器
词汇量大小
262,144
Gemma 2 是 Google 推出的开放大语言模型系列,提供 2B、9B 和 27B 三种参数规模。该系列基于 Gemma 架构构建,并引入了多项创新技术,包括交替式局部与全局注意力机制、旨在提升训练稳定性的 Logit 软截断 (logit soft-capping),以及用于优化推理效率的分组查询注意力 (Grouped Query Attention)。此外,较小规模的模型还采用了知识蒸馏技术。