ApX 标志ApX 标志

趋近智

Qwen3.5-2B

参数

2B

上下文长度

262K

模态

Multimodal

辅助参数

350M

架构

Dense

KV 缓存速率

48 KB/tok

许可证

Apache 2.0

发布日期

24 Feb 2026

训练数据截止日期

-

API 价格 (每 1M)

仅支持自建托管

硬件选型

精度

上下文

工作负载显存: 3.81 GB

INT4 · 8K context

基础权重: 0.93 GB

KV 缓存: 0.38 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

3.8 / 21.6 GB usable

1x RTX 3060 12GB

3.8 / 10.8 GB usable

Apple M4 24GB

3.8 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 2k · Context: 262K · Vocab: 248.3kx 24 layersRMSNormPre-AttentionGrouped-Query Attention8Q / 2KV headsHead dim: 256+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 6.1k+Final RMSNormOutput Logits

评估基准

排名

#192

基准分数排名

专业知识

MMLU Pro

0.665

49

研究生级问答

GPQA

0.516

101

0.02

157

auto

0.07

标准

0.06

274

294

排名

排名

#192

编程排名

#165

关于 Qwen3.5-2B

Qwen3.5-2B 是阿里云于 2026 年 2 月发布的 20 亿参数小规模多模态基座模型。它采用结合了门控 Delta 网络 (Gated Delta Networks) 与门控注意力机制 (Gated Attention) 的混合架构,具体遵循 6×(3×DeltaNet→FFN→1×Attention→FFN) 模式。在思考模式下,该模型在 MMLU-Pro (74.0%)、GPQA Diamond (65.8%) 和 GPQA (51.6%) 中表现出色。其特性包括统一的视觉-语言能力、262k 原生上下文长度、多 Token 预测训练,并支持思考与非思考两种模式,适用于原型设计、微调以及涵盖 201 种语言的学术研究。

技术规格

注意力

注意力结构

Grouped-Query Attention

注意力头

8

键值头

2

注意力头维度

256

位置嵌入

ROPE

RoPE Theta

10,000,000

线性注意力

Yes

线性注意力比例

75.0%

归一化

RMS Normalization

激活函数

SwigLU

维度

辅助参数

350M

隐藏维度大小

2,048

层数

24

FFN 中间层大小(稠密层)

6,144

多 Token 预测头数

1

分词器

词汇量大小

248,320

关于 Qwen 3.5

Qwen 3.5 是阿里云于 2026 年 2 月发布的最新一代基础模型系列。它代表了技术的重大飞跃,集成了多模态学习(统一视觉-语言基础)、高效混合架构(带有稀疏混合专家的门控增量网络)、面向百万级智能体环境的可扩展强化学习,以及涵盖 201 种语言的全球语言能力。该模型系列已开源权重,并遵循 Apache 2.0 协议。


其他 Qwen 3.5 模型