Kimi Linear 48B A3B Instruct

系统要求

不同量化方法和上下文大小的显存要求

没有可用的 Kimi Linear 48B A3B Instruct 评估基准。

关于 Kimi Linear 48B A3B Instruct

Kimi Linear 48B A3B Instruct 是一款大规模语言模型，采用了混合线性注意力架构，旨在克服传统 Transformer 模型的内存和计算限制。其核心创新在于将 Kimi Delta Attention (KDA) 与多头潜变量注意力 (MLA) 以特定的 3:1 交错比例进行集成。KDA 在 Gated DeltaNet 框架的基础上引入了通道级门控机制，实现了对单个特征维度内存衰减的独立控制。这种配置将注意力机制转化为有限状态循环神经网络 (RNN)，无论序列长度如何，都能保持恒定的状态内存占用。

该模型利用混合专家 (MoE) 架构来管理其 480 亿个总参数，在单次前向传播中约有 30 亿个激活参数。这种稀疏性结合混合注意力结构，实现了高吞吐量推理和高效的长上下文处理。KDA 层采用了基于对角加低秩 (DPLR) 转移矩阵的专用分块 (chunkwise) 算法，优化了现代硬件加速器的利用率。通过将全局依赖建模卸载给周期性的 MLA 层，同时利用 KDA 维持局部和循环状态，该模型在表达能力和线性扩展之间达成了平衡。

从实现角度来看，Kimi Linear 48B A3B Instruct 为需要极长上下文窗口（支持高达 100 万个 token）的任务提供了一种高效的替代方案。与标准多头注意力模型相比，该架构将键值 (KV) 缓存需求显著降低了约 75%。这种内存开销的减少使得在文档分析和复杂推理等长序列应用中，解码速度大幅提升，同时通过其开源的 MIT 许可实现，保持了与标准训练和微调工作流的兼容性。

技术规格

资源

关于 Kimi Linear

Moonshot AI 的混合线性注意力架构，搭载 Kimi Delta Attention，旨在实现高效的长文本上下文处理。

其他 Kimi Linear 模型

• 没有相关模型