Qwen 3.8 27B

参数

27B

上下文长度

262K

模态

Multimodal

辅助参数

450M

架构

Dense

KV 缓存速率

256 KB/tok

许可证

Apache 2.0

发布日期

5 Aug 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.40 · 输出: $3.00

硬件与系统要求

精度

Native

上下文

工作负载显存: 17.07 GB

INT4 · 8K context

基础权重: 12.57 GB

KV 缓存: 2.00 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

17.1 / 21.6 GB usable

2x RTX 4090 24GB

17.1 / 43.2 GB usable · TP 2

Apple M4 24GB

17.1 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.8.0.dev0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashAttention-3

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 5.1k · Context: 262K · Vocab: 248.3kx 64 layersRMSNormPre-AttentionGrouped-Query Attention24Q / 4KV headsHead dim: 256+RMSNormPre-FFNFeed-Forward NetworkSwiGLUIntermediate: 17.4k+Final RMSNormOutput Logits

评估基准

排名

#54

基准分数排名

智能编程

LiveBench Agentic

0.61

11

智能体指数

Artificial Analysis
max

0.46

medium

0.44

low

0.39

标准

0.22

27

28

44

77

研究生级问答

GPQA

0.892

27

0.77

28

0.75

33

LiveBench 平均分

LiveBench Average

0.75

34

Web 开发

WebDev Arena

1590

36

0.76

48

0.86

48

0.80

50

max

0.68

medium

0.56

low

0.58

标准

0.45

52

75

70

98

Agent Arena

Agent Arena

-5.63

63

通用文本

Text Arena

1434

93

max

0.20

medium

0.17

low

0.16

标准

0.10

179

205

218

258

排名

排名

#54

编程排名

#45

关于 Qwen 3.8 27B

Qwen 3.8 27B 是阿里巴巴推出的一款拥有 270 亿参数的稠密基座模型,在效率与强劲的推理性能之间取得了平衡。它在多轮对话任务、编程以及长文本理解方面表现出色。

Specifications

注意力

注意力结构

Grouped-Query Attention

注意力头

24

键值头

4

注意力头维度

256

位置嵌入

ROPE

RoPE Theta

10,000,000

线性注意力

Yes

线性注意力比例

75.0%

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

辅助参数

450M

隐藏维度大小

5,120

层数

64

FFN 中间层大小(稠密层)

17,408

多 Token 预测头数

1

分词器

词汇量大小

248,320

关于 Qwen 3.8

阿里巴巴的 Qwen 3.8 系列代表了面向编程、专业工作、科学研究及长周期智能体任务的前沿混合专家(MoE)架构。该系列具备 2.4 万亿总参数(每个 Token 激活 950 亿参数),将门控 DeltaNet 线性注意力与标准门控注意力相结合,同时提供开源权重与托管旗舰级 API 服务。


其他 Qwen 3.8 模型