趋近智
活跃参数
122B
上下文长度
262K
模态
Multimodal
辅助参数
450M
架构
Mixture of Experts
KV 缓存速率
96 KB/tok
许可证
Apache 2.0
发布日期
24 Feb 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.26 · 输出: $2.08
精度
上下文
工作负载显存: 249.12 GB
FP16 · 8K context
基础权重: 245.87 GB
KV 缓存: 0.75 GB
运行时与计算图: 2.50 GB
8x NVIDIA H100 80GB
249.1 / 576.0 GB usable · TP 8
确定特定工作负载的硬件需求:
在显存计算器中打开
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.57.0.dev0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashAttention-3 |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#101
| 基准 | 分数 | 排名 |
|---|---|---|
专业知识 | 0.867 | 6 |
研究生级问答 | 0.866 | 38 |
智能体指数 | auto 0.08 | 97 |
Web 开发 | 1360 | 98 |
0.43 | 103 | |
通用文本 | 1416 | 108 |
auto 0.16 标准 0.18 | 203 187 |
排名
#101
编程排名
#109
Qwen3.5-122B-A10B 是阿里云于 2026 年 2 月发布的中型多模态基座模型。该模型总参数量为 122B,通过混合专家架构(MoE,含 256 个专家)实现 10B 激活参数,在高性能与计算效率之间取得了平衡。它在 MMLU-Pro (86.1%)、GPQA Diamond (85.5%)、SWE-bench Verified (72.4%) 和 Terminal-Bench 2.0 (41.6%) 等基准测试中表现强劲。该模型具备统一的视觉-语言能力,支持 262k 原生上下文(可扩展至 1M),并在推理、代码、智能体工作流(agentic workflows)及多语言任务中表现卓越。
注意力
注意力结构
Grouped-Query Attention
注意力头
32
键值头
2
注意力头维度
256
位置嵌入
ROPE
RoPE Theta
10,000,000
线性注意力
Yes
线性注意力比例
75.0%
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
辅助参数
450M
隐藏维度大小
3,072
层数
48
FFN 中间层大小(稠密层)
1,024
多 Token 预测头数
1
分词器
词汇量大小
248,320
混合专家
专家参数总数
10.0B
专家数量
256
活跃专家
9
FFN 中间层大小(每专家)
1,024
Qwen 3.5 是阿里云于 2026 年 2 月发布的最新一代基础模型系列。它代表了技术的重大飞跃,集成了多模态学习(统一视觉-语言基础)、高效混合架构(带有稀疏混合专家的门控增量网络)、面向百万级智能体环境的可扩展强化学习,以及涵盖 201 种语言的全球语言能力。该模型系列已开源权重,并遵循 Apache 2.0 协议。