趋近智
参数
9B
上下文长度
262K
模态
Multimodal
辅助参数
450M
架构
Dense
KV 缓存速率
128 KB/tok
许可证
Apache 2.0
发布日期
24 Feb 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.14 · 输出: $0.20
精度
上下文
工作负载显存: 7.69 GB
INT4 · 8K context
基础权重: 4.19 GB
KV 缓存: 1.00 GB
运行时与计算图: 2.50 GB
1x NVIDIA L4 24GB
7.7 / 21.6 GB usable
1x RTX 3060 12GB
7.7 / 10.8 GB usable
Apple M4 24GB
7.7 / 18.0 GB usable
确定特定工作负载的硬件需求:
在显存计算器中打开
排名
#124
| 基准 | 分数 | 排名 |
|---|---|---|
专业知识 | 0.825 | 21 |
研究生级问答 | 0.817 | 59 |
智能体指数 | auto 0.01 | 111 |
0.23 | 126 | |
auto 0.11 标准 0.13 | 229 207 |
排名
#124
编程排名
#131
Qwen3.5-9B 是阿里云于 2026 年 2 月发布的高效多模态基础模型,拥有 90 亿参数。它采用了结合门控 Delta 网络(Gated Delta Networks)与门控注意力(Gated Attention)的混合架构,遵循 8×(3×DeltaNet→FFN→1×Attention→FFN) 的模式。该模型在 MMLU-Pro (82.5%)、GPQA Diamond (81.7%)、HMMT 基准测试 (90%/90%) 和 LiveCodeBench v6 (82.7%) 中表现强劲。其具备统一的视觉-语言能力、262k 原生上下文窗口(可扩展至 1M),并采用了多 Token 预测训练,在多模态推理、编程、智能体以及涵盖 201 种语言的多语言任务中表现卓越。
注意力
注意力结构
Grouped-Query Attention
注意力头
16
键值头
4
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000,000
线性注意力
Yes
线性注意力比例
75.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
辅助参数
450M
隐藏维度大小
4,096
层数
32
FFN 中间层大小(稠密层)
12,288
多 Token 预测头数
1
分词器
词汇量大小
248,320
Qwen 3.5 是阿里云于 2026 年 2 月发布的最新一代基础模型系列。它代表了技术的重大飞跃,集成了多模态学习(统一视觉-语言基础)、高效混合架构(带有稀疏混合专家的门控增量网络)、面向百万级智能体环境的可扩展强化学习,以及涵盖 201 种语言的全球语言能力。该模型系列已开源权重,并遵循 Apache 2.0 协议。