ApX 标志ApX 标志

趋近智

Kimi K2.6

活跃参数

1T

上下文长度

262K

模态

Multimodal

架构

Mixture of Experts (MoE)

许可证

Modified MIT

发布日期

21 Apr 2026

训练数据截止日期

-

技术规格

注意力

注意力结构

Multi-Layer Attention

注意力头

64

键值头

64

注意力头维度

-

位置嵌入

ROPE

RoPE Theta

50,000

滑动窗口注意力

No

滑动窗口大小

-

归一化

RMS Normalization

激活函数

SwigLU

维度

隐藏维度大小

7,168

层数

61

FFN 中间层大小(稠密层)

2,048

多 Token 预测头数

0

分词器

词汇量大小

163,840

混合专家

专家参数总数

32.0B

专家数量

384

活跃专家

9

共享专家数

1

FFN 中间层大小(每专家)

2,048

MoE 前的稠密层数

1

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 7.2k · Context: 262K · Vocab: 163.8kx 61 layersRMSNormPre-AttentionMulti-Layer Attention64Q / 64KV headsHead dim: 112+RMSNormPre-FFNSparse MoE FFN (9/384 experts)SwiGLUIntermediate: 2k+Final RMSNormOutput Logits

Kimi K2.6

Kimi K2.6 是月之暗面(Moonshot AI)推出的开源原生多模态智能体模型,拥有 1T 总参数量,每个 token 激活 32B 参数。该模型采用 61 层的混合 MoE 架构,包含 384 个路由专家和 1 个共享专家,每个 token 选取 8 个专家,并配备 MLA 注意力机制及专用的 MoonViT 视觉编码器(4 亿参数)。它在长程编程(SWE-Bench Pro 58.6%, SWE-Bench Verified 80.2%)、智能体工作流(BrowseComp 83.2%, AIME 2026 96.4%, GPQA-Diamond 90.5%)和视觉推理(MMMU-Pro 79.4%)方面均达到了顶尖水平。支持 256K 原生上下文、思维/即时模式以及跨轮次思维保留。该模型可扩展至 300 个子智能体并协同执行 4,000 个步骤,于 2026 年 4 月 21 日基于修订版 MIT 许可证发布。

关于 Kimi K2.6

Kimi K2.6 is Moonshot AI's latest open-source native multimodal agentic model, advancing practical capabilities in long-horizon coding, coding-driven design, proactive autonomous execution, and swarm-based task orchestration. It transforms simple prompts and visual inputs into production-ready interfaces and full-stack workflows, and can scale horizontally to 300 sub-agents executing 4,000 coordinated steps. Built on the same hybrid MoE architecture as Kimi K2.5 with a dedicated MoonViT vision encoder.


其他 Kimi K2.6 模型
  • 没有相关模型

评估基准

排名

#11

基准分数排名

Web 开发

WebDev Arena

1515

11

通用文本

Text Arena

1462

16

排名

排名

#11

编程排名

#24

GPU 要求

完整计算器

选择模型权重的量化方法

上下文大小:1024 个令牌

1k
128k
256k

所需显存:

推荐 GPU