活跃参数
309B
上下文长度
1.05M
模态
Text
架构
Mixture of Experts
KV 缓存速率
144 KB/tok
许可证
MIT License
发布日期
21 Sept 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 607.12 GB
FP16 · 8K context
基础权重: 603.50 GB
KV 缓存: 1.13 GB
运行时与计算图: 2.50 GB
8x NVIDIA H200 141GB
607.1 / 1015.2 GB usable · TP 8
确定特定工作负载的硬件需求:
升级至 Pro
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.3.0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
没有可用的 MiMo V2.6 Flash RL 评估基准。
排名
-
编程排名
-
MiMo V2.6 Flash RL 是由小米开发的高效推理模型,通过强化学习(RL)进行后训练,以增强加速推理和工具使用能力。该模型能够提供快速的响应生成,适用于实时移动端和边缘助手场景。
注意力
注意力结构
Single-Head Attention
注意力头
64
键值头
4
注意力头维度
192
位置嵌入
ROPE
RoPE Theta
10,000,000
滑动窗口注意力
Yes
滑动窗口大小
128
滑动窗口比例
81.3%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
4,096
层数
48
FFN 中间层大小(稠密层)
16,384
多 Token 预测头数
3
分词器
词汇量大小
152,576
混合专家
专家参数总数
15.0B
专家数量
256
活跃专家
8
FFN 中间层大小(每专家)
2,048
MoE 前的稠密层数
1
MiMo-V2-Flash 是一款采用混合注意力架构的混合专家 (MoE) 模型,专为高速推理和智能体工作流而设计。它具备多词元预测 (MTP) 功能,在实现业界领先性能的同时,显著降低了推理成本。该模型针对长上下文建模和高效推理进行了专门优化。