ApX 标志ApX 标志

趋近智

DeepSeek V4.1 Flash

活跃参数

552B

上下文长度

1.05M

模态

Text

架构

Mixture of Experts

KV 缓存速率

80 KB/tok

许可证

MIT License

发布日期

10 Sept 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.30 · 输出: $1.20

硬件选型

精度

上下文

工作负载显存: 1061.11 GB

FP16 · 8K context

基础权重: 1057.98 GB

KV 缓存: 0.63 GB

运行时与计算图: 2.50 GB

最小所需硬件

Cluster: 16x NVIDIA H100 80GB

1061.1 / 1152.0 GB usable · TP 8 · PP 2

确定数据中心硬件的需求:

升级至 Pro

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 5.1k · Context: 1.05M · Vocab: 129.3kx 40 layersRMSNormPre-AttentionCompressed Sparse Attention 264Q / 1KV heads · SW: 128Head dim: 512+RMSNormPre-FFNSparse MoE FFN (6/384 experts)SwiGLUIntermediate: 2.3k+Final RMSNormOutput Logits

评估基准

排名

#13

基准分数排名

智能编程

LiveBench Agentic
max

0.77

🥇

1

max

0.81

9

LiveBench 平均分

LiveBench Average
max

0.81

9

Web 开发

WebDev Arena
max

1665

13

max

0.79

16

max

0.93

20

研究生级问答

GPQA

0.909

21

max

0.80

23

Agent Arena

Agent Arena
max

0.02

24

max

0.87

30

通用文本

Text Arena
max

1475

32

max

0.33

high

0.29

标准

0.18

59

85

172

排名

排名

#13

编程排名

#19

关于 DeepSeek V4.1 Flash

DeepSeek-V4.1-Flash 是一款多模态混合专家 (MoE) 模型,总参数量为 552B,在预填充阶段激活 8B 参数,在解码阶段激活 16B 参数。该模型采用了带有 SWA 边界重放 (SWA Bounded Replay) 的因果编解码器架构,能够在长达 100 万 token 的长上下文窗口中显著降低 KV 缓存的内存占用。

技术规格

注意力

注意力结构

Compressed Sparse Attention 2

注意力头

64

键值头

1

注意力头维度

512

位置嵌入

ROPE

RoPE Theta

10,000

滑动窗口注意力

Yes

滑动窗口大小

128

归一化

RMS Normalization

激活函数

SwigLU

维度

隐藏维度大小

5,120

层数

40

多 Token 预测头数

3

分词器

词汇量大小

129,280

混合专家

专家参数总数

16.0B

专家数量

384

活跃专家

6

共享专家数

1

FFN 中间层大小(每专家)

2,304

关于 DeepSeek V4

DeepSeek-V4 is DeepSeek's latest generation of highly efficient Mixture-of-Experts language models, featuring a novel hybrid attention architecture combining Compressed Sparse Attention (CSA) and Heavily Compressed Attention (HCA) that dramatically improves long-context efficiency. Pre-trained on 32T+ tokens with a comprehensive post-training pipeline including domain-specific expert cultivation and unified model consolidation. Both V4-Pro and V4-Flash support 1M context length as standard, with three reasoning effort modes (Non-think, Think High, Think Max). Released open-source under MIT license on April 24, 2026.


其他 DeepSeek V4 模型
DeepSeek V4.1 Flash - 显存要求、模型规格与基准测试