MiMo V2.6 Flash RL

活跃参数

309B

上下文长度

1.05M

模态

Text

架构

Mixture of Experts

KV 缓存速率

144 KB/tok

许可证

MIT License

发布日期

21 Sept 2026

训练数据截止日期

-

API 价格 (每 1M)

仅支持自建托管

硬件与系统要求

精度

Native

上下文

工作负载显存: 607.12 GB

FP16 · 8K context

基础权重: 603.50 GB

KV 缓存: 1.13 GB

运行时与计算图: 2.50 GB

最小所需硬件

8x NVIDIA H200 141GB

607.1 / 1015.2 GB usable · TP 8

确定特定工作负载的硬件需求:

升级至 Pro

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.3.0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 4.1k · Context: 1.05M · Vocab: 152.6kx 48 layersRMSNormPre-AttentionSliding-Window Attention64Q / 4KV heads · SW: 128Head dim: 192+RMSNormPre-FFNSparse MoE FFN (8/256 experts)SwiGLUIntermediate: 2k+Final RMSNormOutput Logits

评估基准

没有可用的 MiMo V2.6 Flash RL 评估基准。

排名

排名

-

编程排名

-

关于 MiMo V2.6 Flash RL

MiMo V2.6 Flash RL 是由小米开发的高效推理模型,通过强化学习(RL)进行后训练,以增强加速推理和工具使用能力。该模型能够提供快速的响应生成,适用于实时移动端和边缘助手场景。

Specifications

注意力

注意力结构

Single-Head Attention

注意力头

64

键值头

4

注意力头维度

192

位置嵌入

ROPE

RoPE Theta

10,000,000

滑动窗口注意力

Yes

滑动窗口大小

128

滑动窗口比例

81.3%

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

4,096

层数

48

FFN 中间层大小(稠密层)

16,384

多 Token 预测头数

3

分词器

词汇量大小

152,576

混合专家

专家参数总数

15.0B

专家数量

256

活跃专家

8

FFN 中间层大小(每专家)

2,048

MoE 前的稠密层数

1

关于 MiMo V2

MiMo-V2-Flash 是一款采用混合注意力架构的混合专家 (MoE) 模型,专为高速推理和智能体工作流而设计。它具备多词元预测 (MTP) 功能,在实现业界领先性能的同时,显著降低了推理成本。该模型针对长上下文建模和高效推理进行了专门优化。


其他 MiMo V2 模型