MiMo V2.6 Pro RL

活跃参数

1.02T

上下文长度

1.05M

模态

Text

架构

Mixture of Experts

KV 缓存速率

420 KB/tok

许可证

MIT License

发布日期

21 Sept 2026

训练数据截止日期

-

API 价格 (每 1M)

仅支持自建托管

硬件与系统要求

精度

Native

上下文

工作负载显存: 1983.91 GB

FP16 · 8K context

基础权重: 1978.13 GB

KV 缓存: 3.28 GB

运行时与计算图: 2.50 GB

最小所需硬件

16x NVIDIA H200 141GB

1983.9 / 2030.4 GB usable · TP 8 · PP 2

确定特定工作负载的硬件需求:

升级至 Pro

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.3.0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 6.1k · Context: 1.05M · Vocab: 152.6kx 70 layersRMSNormPre-AttentionSliding-Window Attention128Q / 8KV heads · SW: 128Head dim: 192+RMSNormPre-FFNSparse MoE FFN (8/384 experts)SwiGLUIntermediate: 2k+Final RMSNormOutput Logits

评估基准

没有可用的 MiMo V2.6 Pro RL 评估基准。

排名

排名

-

编程排名

-

关于 MiMo V2.6 Pro RL

MiMo V2.6 Pro RL 是小米旗下的旗舰级推理导向型模型,采用强化学习技术进行训练,专门用于解决复杂问题和智能体(agent)工作流。该模型在代码编写、数学运算以及复杂的跨步任务中表现出卓越的性能。

Specifications

注意力

注意力结构

Single-Head Attention

注意力头

128

键值头

8

注意力头维度

192

位置嵌入

ROPE

RoPE Theta

10,000,000

滑动窗口注意力

Yes

滑动窗口大小

128

滑动窗口比例

85.7%

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

6,144

层数

70

FFN 中间层大小(稠密层)

16,384

多 Token 预测头数

5

分词器

词汇量大小

152,576

混合专家

专家参数总数

42.0B

专家数量

384

活跃专家

8

FFN 中间层大小(每专家)

2,048

MoE 前的稠密层数

1

关于 MiMo V2

MiMo-V2-Flash 是一款采用混合注意力架构的混合专家 (MoE) 模型,专为高速推理和智能体工作流而设计。它具备多词元预测 (MTP) 功能,在实现业界领先性能的同时,显著降低了推理成本。该模型针对长上下文建模和高效推理进行了专门优化。


其他 MiMo V2 模型