趋近智
Kimi K3.1 Pro
活跃参数
2.8T
上下文长度
1.05M
模态
Text
架构
Mixture of Experts
KV 缓存速率
4464 KB/tok
许可证
other
发布日期
2 Nov 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
硬件选型
精度
上下文
工作负载显存: 5446.50 GB
FP16 · 8K context
基础权重: 5409.12 GB
KV 缓存: 34.88 GB
运行时与计算图: 2.50 GB
最小所需硬件
工作负载超出 4,000 GB 显存上限，需定制多节点集群编排部署。
在显存计算器中打开
确定特定工作负载的硬件需求：
在显存计算器中打开
架构图
评估基准
没有可用的 Kimi K3.1 Pro 评估基准。
排名
排名
-
编程排名
-
关于 Kimi K3.1 Pro
Kimi K3.1 Pro is an open-weight, natively multimodal Mixture-of-Experts model featuring 2.8T total parameters with 104B active per token. Equipped with a 1-million-token context window, it excels in agentic workflows, coding, 3D creation, and financial research.
技术规格
注意力
注意力结构
DeepSeek Sparse Attention
注意力头
96
键值头
96
注意力头维度
128
位置嵌入
ROPE
线性注意力
Yes
线性注意力比例
74.2%
KV 潜变量维度
576
索引键维度
128
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
7,168
层数
93
FFN 中间层大小（稠密层）
33,792
多 Token 预测头数
0
分词器
词汇量大小
163,840
混合专家
专家参数总数
104.0B
专家数量
896
活跃专家
16
共享专家数
2
FFN 中间层大小（每专家）
3,072
MoE 前的稠密层数
1
资源
关于 Kimi K3
Kimi K3 is a flagship Mixture-of-Experts (MoE) multimodal model series developed by Moonshot AI.