趋近智
Qwen3.5-9B
参数
9B
上下文长度
262.144K
模态
Multimodal
架构
Dense
许可证
Apache 2.0
发布日期
24 Feb 2026
训练数据截止日期
-
技术规格
注意力
注意力结构
Grouped-Query Attention
注意力头
16
键值头
4
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000,000
滑动窗口注意力
No
滑动窗口大小
-
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
4,096
层数
32
FFN 中间层大小（稠密层）
12,288
多 Token 预测头数
1
分词器
词汇量大小
248,320
架构图
Qwen3.5-9B
Qwen3.5-9B 是阿里云于 2026 年 2 月发布的高效多模态基础模型，拥有 90 亿参数。它采用了结合门控 Delta 网络（Gated Delta Networks）与门控注意力（Gated Attention）的混合架构，遵循 8×(3×DeltaNet→FFN→1×Attention→FFN) 的模式。该模型在 MMLU-Pro (82.5%)、GPQA Diamond (81.7%)、HMMT 基准测试 (90%/90%) 和 LiveCodeBench v6 (82.7%) 中表现强劲。其具备统一的视觉-语言能力、262k 原生上下文窗口（可扩展至 1M），并采用了多 Token 预测训练，在多模态推理、编程、智能体以及涵盖 201 种语言的多语言任务中表现卓越。
关于 Qwen 3.5
Qwen 3.5 是阿里云于 2026 年 2 月发布的最新一代基础模型系列。它代表了技术的重大飞跃，集成了多模态学习（统一视觉-语言基础）、高效混合架构（带有稀疏混合专家的门控增量网络）、面向百万级智能体环境的可扩展强化学习，以及涵盖 201 种语言的全球语言能力。该模型系列已开源权重，并遵循 Apache 2.0 协议。
其他 Qwen 3.5 模型
评估基准
没有可用的 Qwen3.5-9B 评估基准。