趋近智
K2 Horizon MoVA 36B A4B
活跃参数
36B
上下文长度
524K
模态
Text
架构
Mixture of Experts
KV 缓存速率
192 KB/tok
许可证
Apache 2.0
发布日期
1 Sept 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
硬件选型
精度
上下文
工作负载显存: 22.63 GB
INT4 · 8K context
基础权重: 18.63 GB
KV 缓存: 1.50 GB
运行时与计算图: 2.50 GB
最小所需硬件
1x NVIDIA A40 48GB
22.6 / 43.2 GB usable
2x RTX 4090 24GB
22.6 / 43.2 GB usable · TP 2
Apple M3 Pro 36GB
22.6 / 27.0 GB usable
确定特定工作负载的硬件需求：
在显存计算器中打开
架构图
评估基准
排名
#79
| 基准 | 分数 | 排名 |
|---|---|---|
智能体指数 | 0.34 | 54 |
0.25 | 116 |
排名
排名
#79
编程排名
-
关于 K2 Horizon MoVA 36B A4B
K2 Horizon MoVA 36B A4B 是一款混合专家（MoE）语言模型，每个 token 激活 4B 参数，旨在实现高效的高容量推理。该模型针对复杂问题解决、上下文保留和推理任务进行了优化。
技术规格
注意力
注意力结构
Grouped-Query Attention
注意力头
32
键值头
8
注意力头维度
128
位置嵌入
ROPE
RoPE Theta
10,000,000
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
2,560
层数
48
FFN 中间层大小（稠密层）
6,144
分词器
词汇量大小
250,624
混合专家
专家参数总数
4.0B
专家数量
100
活跃专家
8
共享专家数
1
FFN 中间层大小（每专家）
768
资源
关于 Kimi K2
月之暗面（Moonshot AI）的 Kimi K2 是一款混合专家（MoE）模型，总参数量达万亿级，每个 token 激活 320 亿参数。该模型专为智能体能力（agentic intelligence）而设计，采用包含 384 个专家的稀疏架构，并利用 MuonClip 优化器提升训练稳定性，支持 128K token 的上下文窗口。