活跃参数
1.02T
上下文长度
1.05M
模态
Text
架构
Mixture of Experts
KV 缓存速率
420 KB/tok
许可证
MIT License
发布日期
21 Sept 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 1983.91 GB
FP16 · 8K context
基础权重: 1978.13 GB
KV 缓存: 3.28 GB
运行时与计算图: 2.50 GB
16x NVIDIA H200 141GB
1983.9 / 2030.4 GB usable · TP 8 · PP 2
确定特定工作负载的硬件需求:
升级至 Pro
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.3.0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
没有可用的 MiMo V2.6 Pro RL 评估基准。
排名
-
编程排名
-
MiMo V2.6 Pro RL 是小米旗下的旗舰级推理导向型模型,采用强化学习技术进行训练,专门用于解决复杂问题和智能体(agent)工作流。该模型在代码编写、数学运算以及复杂的跨步任务中表现出卓越的性能。
注意力
注意力结构
Single-Head Attention
注意力头
128
键值头
8
注意力头维度
192
位置嵌入
ROPE
RoPE Theta
10,000,000
滑动窗口注意力
Yes
滑动窗口大小
128
滑动窗口比例
85.7%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
6,144
层数
70
FFN 中间层大小(稠密层)
16,384
多 Token 预测头数
5
分词器
词汇量大小
152,576
混合专家
专家参数总数
42.0B
专家数量
384
活跃专家
8
FFN 中间层大小(每专家)
2,048
MoE 前的稠密层数
1
MiMo-V2-Flash 是一款采用混合注意力架构的混合专家 (MoE) 模型,专为高速推理和智能体工作流而设计。它具备多词元预测 (MTP) 功能,在实现业界领先性能的同时,显著降低了推理成本。该模型针对长上下文建模和高效推理进行了专门优化。