Qwen3.5-4B

参数

4B

上下文长度

262K

模态

Multimodal

辅助参数

350M

架构

Dense

KV 缓存速率

128 KB/tok

许可证

Apache 2.0

发布日期

24 Feb 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.03 · 输出: $0.15

硬件与系统要求

精度

Native

上下文

工作负载显存: 5.36 GB

INT4 · 8K context

基础权重: 1.86 GB

KV 缓存: 1.00 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

5.4 / 21.6 GB usable

1x RTX 3060 12GB

5.4 / 10.8 GB usable

Apple M4 24GB

5.4 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.57.0.dev0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 2.6k · Context: 262K · Vocab: 248.3kx 32 layersRMSNormPre-AttentionGrouped-Query Attention16Q / 4KV headsHead dim: 256+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 9.2k+Final RMSNormOutput Logits

评估基准

排名

#145

基准分数排名

专业知识

MMLU Pro

0.791

32

研究生级问答

GPQA

0.762

72

0.20

133

auto

0.13

标准

0.11

234

258

排名

排名

#145

编程排名

#149

关于 Qwen3.5-4B

Qwen3.5-4B 是阿里云于 2026 年 2 月发布的 40 亿参数紧凑型多模态基座模型。它采用结合了门控 Delta 网络(Gated Delta Networks)与门控注意力(Gated Attention)的混合架构,遵循 8×(3×DeltaNet→FFN→1×Attention→FFN) 的模式。该模型在 MMLU-Pro (79.1%)、GPQA Diamond (76.2%) 及 HMMT 基准测试 (74%/77%) 中表现卓越,并拥有出色的视觉-语言评分。其特点包括统一的视觉-语言能力、262k 原生上下文(可扩展至 1M)以及多词元预测训练,在推理、编程、多模态理解和涵盖 201 种语言的多语言任务中均能提供高效的性能。

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

16

键值头

4

注意力头维度

256

位置嵌入

ROPE

RoPE Theta

10,000,000

线性注意力

Yes

线性注意力比例

75.0%

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

辅助参数

350M

隐藏维度大小

2,560

层数

32

FFN 中间层大小(稠密层)

9,216

多 Token 预测头数

1

分词器

词汇量大小

248,320

关于 Qwen 3.5

Qwen 3.5 是阿里云于 2026 年 2 月发布的最新一代基础模型系列。它代表了技术的重大飞跃,集成了多模态学习(统一视觉-语言基础)、高效混合架构(带有稀疏混合专家的门控增量网络)、面向百万级智能体环境的可扩展强化学习,以及涵盖 201 种语言的全球语言能力。该模型系列已开源权重,并遵循 Apache 2.0 协议。


其他 Qwen 3.5 模型