活跃参数
35B
上下文长度
262K
模态
Multimodal
辅助参数
450M
架构
Mixture of Experts
KV 缓存速率
80 KB/tok
许可证
Apache 2.0
发布日期
24 Feb 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.14 · 输出: $1.00
精度
上下文
工作负载显存: 20.82 GB
INT4 · 8K context
基础权重: 17.70 GB
KV 缓存: 0.63 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
20.8 / 21.6 GB usable
2x RTX 4090 24GB
20.8 / 43.2 GB usable · TP 2
Apple M3 Pro 36GB
20.8 / 27.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.57.0.dev0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#130
| 基准 | 分数 | 排名 |
|---|---|---|
专业知识 | 0.853 | 10 |
研究生级问答 | 0.842 | 48 |
0.37 | 112 | |
Web 开发 | 1253 | 119 |
通用文本 | 1394 | 125 |
auto 0.19 标准 0.15 | 186 222 |
排名
#130
编程排名
#134
Qwen3.5-35B-A3B 是阿里云于 2026 年 2 月发布的架构高效的多模态基座模型。该模型总参数量为 35B,通过混合专家架构(MoE,包含 256 个专家)实现了 3B 的激活参数量,以极低的计算成本提供了强大的性能表现。其在 MMLU-Pro (85.3%)、GPQA Diamond (84.2%)、SWE-bench Verified (69.2%) 和 Terminal-Bench 2.0 (40.5%) 等评测中表现出色。Qwen3.5-Flash 为其托管 API 版本。该模型具备统一的视觉语言能力、262k 原生上下文长度(可扩展至 1M),并在多模态推理、编程及多语言任务上拥有卓越性能。
注意力
注意力结构
Grouped-Query Attention
注意力头
16
键值头
2
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000,000
线性注意力
Yes
线性注意力比例
75.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
辅助参数
450M
隐藏维度大小
2,048
层数
40
FFN 中间层大小(稠密层)
512
多 Token 预测头数
1
分词器
词汇量大小
248,320
混合专家
专家参数总数
3.0B
专家数量
256
活跃专家
9
FFN 中间层大小(每专家)
512
Qwen 3.5 是阿里云于 2026 年 2 月发布的最新一代基础模型系列。它代表了技术的重大飞跃,集成了多模态学习(统一视觉-语言基础)、高效混合架构(带有稀疏混合专家的门控增量网络)、面向百万级智能体环境的可扩展强化学习,以及涵盖 201 种语言的全球语言能力。该模型系列已开源权重,并遵循 Apache 2.0 协议。