Mellum 2.1 12B A2.5B Thinking

活跃参数

12B

上下文长度

131K

模态

Text

架构

Mixture of Experts

KV 缓存速率

56 KB/tok

许可证

Apache 2.0

发布日期

20 Sept 2026

训练数据截止日期

-

API 价格 (每 1M)

仅支持自建托管

硬件与系统要求

精度

Native

上下文

工作负载显存: 9.69 GB

INT4 · 8K context

基础权重: 6.75 GB

KV 缓存: 0.44 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

9.7 / 21.6 GB usable

1x RTX 3060 12GB

9.7 / 10.8 GB usable

Apple M4 24GB

9.7 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.8.1

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 2.3k · Context: 131K · Vocab: 98.3kx 28 layersRMSNormPre-AttentionGrouped-Query Attention32Q / 4KV heads · SW: 1kHead dim: 128+RMSNormPre-FFNSparse MoE FFN (8/64 experts)SwiGLUIntermediate: 896+Final RMSNormOutput Logits

评估基准

没有可用的 Mellum 2.1 12B A2.5B Thinking 评估基准。

排名

排名

-

编程排名

-

关于 Mellum 2.1 12B A2.5B Thinking

Mellum 2.1 12B A2.5B Thinking is an MoE reasoning and coding model developed by JetBrains with 2.5B active parameters per token. It is tailored for advanced reasoning traces and software engineering workflows in IDE environments.

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

32

键值头

4

注意力头维度

128

位置嵌入

ROPE

RoPE Theta

500,000

滑动窗口注意力

Yes

滑动窗口大小

1,024

滑动窗口比例

75.0%

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

2,304

层数

28

FFN 中间层大小(稠密层)

7,168

分词器

词汇量大小

98,304

混合专家

专家参数总数

2.5B

专家数量

64

活跃专家

8

共享专家数

0

FFN 中间层大小(每专家)

896

MoE 前的稠密层数

0

关于 Mellum

The Mellum model family developed by JetBrains.


其他 Mellum 模型
  • 没有相关模型