趋近智
参数
2B
上下文长度
262K
模态
Multimodal
辅助参数
350M
架构
Dense
KV 缓存速率
48 KB/tok
许可证
Apache 2.0
发布日期
24 Feb 2026
训练数据截止日期
-
API 价格 (每 1M)
仅支持自建托管
精度
上下文
工作负载显存: 3.81 GB
INT4 · 8K context
基础权重: 0.93 GB
KV 缓存: 0.38 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
3.8 / 21.6 GB usable
1x RTX 3060 12GB
3.8 / 10.8 GB usable
Apple M4 24GB
3.8 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
排名
#192
编程排名
#165
Qwen3.5-2B 是阿里云于 2026 年 2 月发布的 20 亿参数小规模多模态基座模型。它采用结合了门控 Delta 网络 (Gated Delta Networks) 与门控注意力机制 (Gated Attention) 的混合架构,具体遵循 6×(3×DeltaNet→FFN→1×Attention→FFN) 模式。在思考模式下,该模型在 MMLU-Pro (74.0%)、GPQA Diamond (65.8%) 和 GPQA (51.6%) 中表现出色。其特性包括统一的视觉-语言能力、262k 原生上下文长度、多 Token 预测训练,并支持思考与非思考两种模式,适用于原型设计、微调以及涵盖 201 种语言的学术研究。
注意力
注意力结构
Grouped-Query Attention
注意力头
8
键值头
2
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000,000
线性注意力
Yes
线性注意力比例
75.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
辅助参数
350M
隐藏维度大小
2,048
层数
24
FFN 中间层大小(稠密层)
6,144
多 Token 预测头数
1
分词器
词汇量大小
248,320
Qwen 3.5 是阿里云于 2026 年 2 月发布的最新一代基础模型系列。它代表了技术的重大飞跃,集成了多模态学习(统一视觉-语言基础)、高效混合架构(带有稀疏混合专家的门控增量网络)、面向百万级智能体环境的可扩展强化学习,以及涵盖 201 种语言的全球语言能力。该模型系列已开源权重,并遵循 Apache 2.0 协议。