趋近智
参数
9B
上下文长度
262K
模态
Text
架构
Dense
KV 缓存速率
128 KB/tok
许可证
MIT License
发布日期
21 Sept 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 7.69 GB
INT4 · 8K context
基础权重: 4.19 GB
KV 缓存: 1.00 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
7.7 / 21.6 GB usable
1x RTX 3060 12GB
7.7 / 10.8 GB usable
Apple M4 24GB
7.7 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.12.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
没有可用的 MiMo V2.6 Distill Qwen 9B 评估基准。
排名
-
编程排名
-
MiMo V2.6 Distill Qwen 9B 是一款拥有 90 亿参数的模型,由更大规模的 MiMo 推理模型蒸馏至 Qwen 架构基座而成。它将复杂的推理能力和指令遵循性能迁移到了轻量化的部署规模中。
注意力
注意力结构
Grouped-Query Attention
注意力头
16
键值头
4
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000,000
线性注意力
Yes
线性注意力比例
75.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
4,096
层数
32
FFN 中间层大小(稠密层)
12,288
多 Token 预测头数
1
分词器
词汇量大小
248,320
MiMo-V2-Flash 是一款采用混合注意力架构的混合专家 (MoE) 模型,专为高速推理和智能体工作流而设计。它具备多词元预测 (MTP) 功能,在实现业界领先性能的同时,显著降低了推理成本。该模型针对长上下文建模和高效推理进行了专门优化。