Qwen3-30B-A3B

技术规格

Qwen3-30B-A3B

Qwen3-30B-A3B 模型是由阿里巴巴开发的一款混合专家（MoE）语言模型，旨在以更低的计算成本实现高性能推理。该模型拥有 305 亿个总参数，但采用了稀疏激活策略，每个 token 仅激活约 33 亿个参数。这种设计使模型能够保持大型系统广泛的知识储备与能力，同时在延迟和资源占用方面表现得像一个规模小得多的稠密架构。作为 Qwen3 系列中的中端解决方案，它在模型深度与运行效率之间实现了平衡。

在技术架构上，该模型由 48 个 Transformer 层组成，并采用分组查询注意力（GQA）机制（包含 32 个查询头和 4 个键值头），以优化内存带宽和推理速度。其 MoE 组件包含 128 个专家，每个 token 通过路由机制从中选择 8 个专家进行计算。一个显著的架构创新是其混合系统支持两种模式：一种是处理复杂数学和逻辑任务的高推理“思考模式”，另一种是用于精简、通用对话的“非思考模式”。这种灵活性建立在涵盖 119 种语言、高达 36 万亿 token 的海量训练语料库基础之上，并集成了旋转位置嵌入（RoPE）和 SwiGLU 激活函数等先进技术。

Qwen3-30B-A3B 专为多场景部署而设计，在指令遵循、代码生成以及可集成外部工具的复杂智能体（Agent）工作流中表现出色。该模型支持 32,768 个 token 的原生上下文窗口，通过 YaRN（Yet another RoPE N）缩放方法可扩展至 131,072 个 token，在后续迭代中进一步提升到了 256,000 个 token。凭借坚实的多语言基础和优化的专家路由机制，该模型适用于从技术推理到专业环境下创意内容生成的一系列下游应用。