ApX 标志ApX 标志

趋近智

MiMo V2.6 Distill Qwen 9B

参数

9B

上下文长度

262K

模态

Text

架构

Dense

KV 缓存速率

128 KB/tok

许可证

MIT License

发布日期

21 Sept 2026

训练数据截止日期

-

API 价格 (每 1M)

仅支持自建托管

硬件与系统要求

精度

Native

上下文

工作负载显存: 7.69 GB

INT4 · 8K context

基础权重: 4.19 GB

KV 缓存: 1.00 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

7.7 / 21.6 GB usable

1x RTX 3060 12GB

7.7 / 10.8 GB usable

Apple M4 24GB

7.7 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.12.1

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 4.1k · Context: 262K · Vocab: 248.3kx 32 layersRMSNormPre-AttentionGrouped-Query Attention16Q / 4KV headsHead dim: 256+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 12.3k+Final RMSNormOutput Logits

评估基准

没有可用的 MiMo V2.6 Distill Qwen 9B 评估基准。

排名

排名

-

编程排名

-

关于 MiMo V2.6 Distill Qwen 9B

MiMo V2.6 Distill Qwen 9B 是一款拥有 90 亿参数的模型,由更大规模的 MiMo 推理模型蒸馏至 Qwen 架构基座而成。它将复杂的推理能力和指令遵循性能迁移到了轻量化的部署规模中。

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

16

键值头

4

注意力头维度

256

位置嵌入

ROPE

RoPE Theta

10,000,000

线性注意力

Yes

线性注意力比例

75.0%

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

4,096

层数

32

FFN 中间层大小(稠密层)

12,288

多 Token 预测头数

1

分词器

词汇量大小

248,320

关于 MiMo V2

MiMo-V2-Flash 是一款采用混合注意力架构的混合专家 (MoE) 模型,专为高速推理和智能体工作流而设计。它具备多词元预测 (MTP) 功能,在实现业界领先性能的同时,显著降低了推理成本。该模型针对长上下文建模和高效推理进行了专门优化。


其他 MiMo V2 模型