Qwen3 Next 80B A3B

技术规格

Qwen3 Next 80B A3B

Qwen3-Next-80B-A3B 是由阿里巴巴通义千问团队开发的高容量稀疏混合专家（MoE）基座模型。它属于下一代 Qwen3-Next 系列，专为解决长上下文序列建模的计算需求和大规模参数效率而设计。该模型采用了独特的混合注意力机制，将 Gated DeltaNet 与门控注意力（Gated Attention）相结合，使系统能够在长 Token 序列上保持高性能，同时显著降低了标准 Transformer 架构中常见的二次复杂度。

其技术架构采用了高稀疏度的 MoE 布局，由 48 层组成，隐藏层维度为 2048。虽然模型总参数量达 800 亿，但在推理过程中，其门控机制针对每个 Token 仅激活约 30 亿参数。这种稀疏激活策略结合总计 512 个专家和多 Token 预测（MTP）目标，有助于提升吞吐量并减少每个 Token 的浮点运算数（FLOPs）。该模型还结合了专注于稳定性的架构优化，例如零中心化（zero-centered）和权重衰减层归一化（weight-decayed layer normalization），以确保在 15 万亿 Token 的预训练及后续强化学习阶段实现鲁棒收敛。

Qwen3-Next-80B-A3B 针对复杂推理和智能体（agentic）工作流进行了优化，能够处理 262,144 个 Token 的原生上下文窗口，并可通过 YaRN 等专门的缩放技术扩展至 100 万个 Token 以上。其主要应用场景包括多步逻辑分析、数学证明和代码合成。通过将输出结构化推理轨迹的“Thinking”变体与标准的“Instruct”变体分离，该模型为高效通用交互或深入且透明的问题解决任务提供了专门的路径。

推荐 GPU

资源