ApX 标志ApX 标志

趋近智

Kimi K2.6

活跃参数

1T

上下文长度

262K

模态

Multimodal

架构

Mixture of Experts (MoE)

许可证

Modified MIT

发布日期

21 Apr 2026

训练数据截止日期

-

系统要求

不同量化方法和上下文大小的显存要求

1024 个令牌

2103.65 GB VRAM

消费级

140x RTX 4090

24GB VRAM

数据中心

34x NVIDIA A100

80GB VRAM

Apple Silicon

30x Apple M3 Max

128GB VRAM

262144 个令牌

2651.69 GB VRAM

消费级

186x RTX 4090

24GB VRAM

数据中心

45x NVIDIA A100

80GB VRAM

Apple Silicon

41x Apple M3 Max

128GB VRAM

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 7.2k · Context: 262K · Vocab: 163.8kx 61 layersRMSNormPre-AttentionMulti-Layer Attention64Q / 64KV headsHead dim: 112+RMSNormPre-FFNSparse MoE FFN (9/384 experts)SwiGLUIntermediate: 2k+Final RMSNormOutput Logits

评估基准

排名

#11

基准分数排名

Web 开发

WebDev Arena

1515

11

通用文本

Text Arena

1462

16

排名

排名

#11

编程排名

#24

关于 Kimi K2.6

Kimi K2.6 是月之暗面(Moonshot AI)推出的开源原生多模态智能体模型,拥有 1T 总参数量,每个 token 激活 32B 参数。该模型采用 61 层的混合 MoE 架构,包含 384 个路由专家和 1 个共享专家,每个 token 选取 8 个专家,并配备 MLA 注意力机制及专用的 MoonViT 视觉编码器(4 亿参数)。它在长程编程(SWE-Bench Pro 58.6%, SWE-Bench Verified 80.2%)、智能体工作流(BrowseComp 83.2%, AIME 2026 96.4%, GPQA-Diamond 90.5%)和视觉推理(MMMU-Pro 79.4%)方面均达到了顶尖水平。支持 256K 原生上下文、思维/即时模式以及跨轮次思维保留。该模型可扩展至 300 个子智能体并协同执行 4,000 个步骤,于 2026 年 4 月 21 日基于修订版 MIT 许可证发布。

技术规格

注意力

注意力结构

Multi-Layer Attention

注意力头

64

键值头

64

注意力头维度

-

位置嵌入

ROPE

RoPE Theta

50,000

滑动窗口注意力

No

滑动窗口大小

-

滑动窗口比例

-

线性注意力

-

线性注意力比例

-

归一化

RMS Normalization

激活函数

SwigLU

维度

隐藏维度大小

7,168

层数

61

FFN 中间层大小(稠密层)

2,048

多 Token 预测头数

0

分词器

词汇量大小

163,840

混合专家

专家参数总数

32.0B

专家数量

384

活跃专家

9

共享专家数

1

FFN 中间层大小(每专家)

2,048

MoE 前的稠密层数

1

关于 Kimi K2.6

Kimi K2.6 is Moonshot AI's latest open-source native multimodal agentic model, advancing practical capabilities in long-horizon coding, coding-driven design, proactive autonomous execution, and swarm-based task orchestration. It transforms simple prompts and visual inputs into production-ready interfaces and full-stack workflows, and can scale horizontally to 300 sub-agents executing 4,000 coordinated steps. Built on the same hybrid MoE architecture as Kimi K2.5 with a dedicated MoonViT vision encoder.


其他 Kimi K2.6 模型
  • 没有相关模型