活跃参数
12B
上下文长度
131K
模态
Text
架构
Mixture of Experts
KV 缓存速率
56 KB/tok
许可证
Apache 2.0
发布日期
20 Sept 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 9.69 GB
INT4 · 8K context
基础权重: 6.75 GB
KV 缓存: 0.44 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
9.7 / 21.6 GB usable
1x RTX 3060 12GB
9.7 / 10.8 GB usable
Apple M4 24GB
9.7 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.8.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
没有可用的 Mellum 2.1 12B A2.5B Thinking 评估基准。
排名
-
编程排名
-
Mellum 2.1 12B A2.5B Thinking is an MoE reasoning and coding model developed by JetBrains with 2.5B active parameters per token. It is tailored for advanced reasoning traces and software engineering workflows in IDE environments.
注意力
注意力结构
Grouped-Query Attention
注意力头
32
键值头
4
注意力头维度
128
位置嵌入
ROPE
RoPE Theta
500,000
滑动窗口注意力
Yes
滑动窗口大小
1,024
滑动窗口比例
75.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
2,304
层数
28
FFN 中间层大小(稠密层)
7,168
分词器
词汇量大小
98,304
混合专家
专家参数总数
2.5B
专家数量
64
活跃专家
8
共享专家数
0
FFN 中间层大小(每专家)
896
MoE 前的稠密层数
0
The Mellum model family developed by JetBrains.