趋近智
Kimi K3
活跃参数
2.8T
上下文长度
1.05M
模态
Multimodal
架构
Mixture of Experts
KV 缓存速率
105 KB/tok
许可证
Open Weights
发布日期
27 Jul 2026
训练数据截止日期
Jun 2024
API 价格 (每 1M)
输入: $3.00 · 输出: $15.00
硬件选型
精度
上下文
工作负载显存: 5446.50 GB
FP16 · 8K context
基础权重: 5409.12 GB
KV 缓存: 34.88 GB
运行时与计算图: 2.50 GB
最小所需硬件
工作负载超出 4,000 GB 显存上限，需定制多节点集群编排部署。
在显存计算器中打开
确定特定工作负载的硬件需求：
在显存计算器中打开
架构图
评估基准
排名
#18
| 基准 | 分数 | 排名 |
|---|---|---|
研究生级问答 | 0.935 | 7 |
0.91 | 9 | |
0.62 | 9 | |
Web 开发 | max 1656 | 14 |
0.79 | 14 | |
LiveBench 平均分 | 0.79 | 14 |
max 0.76 low 0.72 | 16 33 | |
0.81 | 16 | |
通用文本 | max 1488 | 17 |
0.79 | 18 | |
智能体指数 | max 0.50 low 0.29 | 21 61 |
Agent Arena | max 0.01 | 30 |
0.84 | 51 | |
low 0.17 | 190 |
排名
排名
#18
编程排名
#11
关于 Kimi K3
Kimi K3 是由月之暗面 (Moonshot AI) 开发的旗舰级开源权重、2.8 万亿参数稀疏混合专家 (MoE) 多模态模型。该模型具备 100 万 token 的上下文窗口，拥有总计 896 个专家（每个 token 激活 16 个专家），采用了混合线性注意力机制 (Kimi Delta Attention)，并原生支持文本和视觉输入。
技术规格
注意力
注意力结构
Multi-Layer Attention
注意力头
96
键值头
96
注意力头维度
128
位置嵌入
ROPE
线性注意力
Yes
线性注意力比例
74.2%
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
7,168
层数
93
FFN 中间层大小（稠密层）
33,792
分词器
词汇量大小
163,840
混合专家
专家参数总数
104.0B
专家数量
896
活跃专家
16
共享专家数
2
FFN 中间层大小（每专家）
3,072
MoE 前的稠密层数
1
关于 Kimi K3
Kimi K3 is a flagship Mixture-of-Experts (MoE) multimodal model series developed by Moonshot AI.