趋近智
Kimi K3
活跃参数
2.8T
上下文长度
1.05M
模态
Multimodal
架构
Mixture of Experts (MoE)
许可证
Open Weights
发布日期
27 Jul 2026
训练数据截止日期
-
系统要求
不同量化方法和上下文大小的显存要求
1024 个令牌
消费级
526x RTX 4090
24GB VRAM
数据中心
113x NVIDIA A100
80GB VRAM
Apple Silicon
122x Apple M3 Max
128GB VRAM
1048576 个令牌
消费级
1259x RTX 4090
24GB VRAM
数据中心
243x NVIDIA A100
80GB VRAM
Apple Silicon
309x Apple M3 Max
128GB VRAM
架构图
评估基准
没有可用的 Kimi K3 评估基准。
排名
排名
-
编程排名
-
关于 Kimi K3
Kimi K3 是由月之暗面 (Moonshot AI) 开发的旗舰级开源权重、2.8 万亿参数稀疏混合专家 (MoE) 多模态模型。该模型具备 100 万 token 的上下文窗口，拥有总计 896 个专家（每个 token 激活 16 个专家），采用了混合线性注意力机制 (Kimi Delta Attention)，并原生支持文本和视觉输入。
技术规格
注意力
注意力结构
Multi-Layer Attention
注意力头
96
键值头
96
注意力头维度
128
位置嵌入
ROPE
RoPE Theta
-
滑动窗口注意力
-
滑动窗口大小
-
滑动窗口比例
-
线性注意力
Yes
线性注意力比例
74.2%
归一化
RMS Normalization
激活函数
-
维度
隐藏维度大小
7,168
层数
93
FFN 中间层大小（稠密层）
33,792
多 Token 预测头数
-
分词器
词汇量大小
163,840
混合专家
专家参数总数
32.0B
专家数量
896
活跃专家
16
共享专家数
2
FFN 中间层大小（每专家）
3,072
MoE 前的稠密层数
1
关于 Kimi K3
Kimi K3 is a flagship Mixture-of-Experts (MoE) multimodal model series developed by Moonshot AI.
其他 Kimi K3 模型
- 没有相关模型