Kimi-VL-A3B-Thinking

技术规格

Kimi-VL-A3B-Thinking

Kimi-VL-A3B-Thinking 是由月之暗面（Moonshot AI）开发的高级视觉语言模型（VLM），旨在在高效参数利用与高保真多模态推理之间取得平衡。在架构上，该模型基于 Moonlight LLM 系列的混合专家（MoE）框架构建，通过 MLP 投影器集成了名为 MoonViT 的原生分辨率视觉编码器。该模型通过监督微调（SFT）和强化学习（RL）针对长时程认知任务进行了专门优化，使其在处理复杂的视觉和文本输入时能够生成扩展的思维链（CoT）。

该系统采用稀疏 MoE 设计，总参数量为 160 亿，而在任何单次推理步骤中仅激活约 28 亿参数。其语言解码器遵循类似于 DeepSeek-V3 的架构配置，具有多头潜在注意力机制（MLA）以及通过 64 个路由专家进行 Token 分发的专门门控机制。这种结构创新使模型能够处理各种输入分辨率和宽高比而无需下采样，从而为光学字符识别（OCR）和大学级学术分析等任务保留了视觉数据的高保真度。

在功能上，Kimi-VL-A3B-Thinking 支持 128,000 个 Token 的庞大上下文窗口，便于摄取长篇文档、多图序列和视频内容。“Thinking”变体专为需要多步数学解题、文档理解和自主智能体交互的场景而量身定制。通过利用 Flash-Attention 2 并支持原生半精度格式，该模型在广泛的多模态推理应用中保持了高吞吐量和计算效率。

没有可用的 Kimi-VL-A3B-Thinking 评估基准。

推荐 GPU

资源