ApX 标志ApX 标志

趋近智

DeepSeek-V4-Pro

活跃参数

1.6T

上下文长度

1M

模态

Text

架构

Mixture of Experts

KV 缓存速率

122 KB/tok

许可证

MIT

发布日期

24 Apr 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $1.32 · 输出: $3.96

硬件与系统要求

精度

Native

上下文

工作负载显存: 3074.95 GB

FP16 · 8K context

基础权重: 3071.50 GB

KV 缓存: 0.95 GB

运行时与计算图: 2.50 GB

最小所需硬件

32x NVIDIA H200 141GB

3075.0 / 4060.8 GB usable · TP 8 · PP 4

确定特定工作负载的硬件需求:

升级至 Pro

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 4.57.1

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashMLA

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 7.2k · Context: 1M · Vocab: 129.3kx 61 layersRMSNormPre-AttentionDeepSeek Sparse Attention128Q / 1KV heads · SW: 128Head dim: 512+RMSNormPre-FFNSparse MoE FFN (6/384 experts)SwiGLUIntermediate: 3.1k+Final RMSNormOutput Logits

评估基准

排名

#63

基准分数排名

0.91

4

0.91

33

0.75

34

Agent Arena

Agent Arena

-1.23

43

0.83

44

智能编程

LiveBench Agentic

0.43

51

0.72

52

LiveBench 平均分

LiveBench Average

0.72

52

通用文本

Text Arena
high

1455

标准

1458

62

56

0.70

57

智能体指数

Artificial Analysis
max

0.26

66

max

0.59

high

0.59

67

68

Web 开发

WebDev Arena

1448

70

max

0.30

标准

0.21

81

152

排名

排名

#63

编程排名

#62

关于 DeepSeek-V4-Pro

DeepSeek-V4-Pro 是 DeepSeek 的旗舰级开源模型,拥有 1.6T 总参数,每个 token 激活 49B 参数。该模型采用了一种新型的 CSA+HCA 混合注意力机制,相较于 DeepSeek-V3.2,仅需 27% 的推理 FLOPs 和 10% 的 KV 缓存即可实现 1M 上下文支持。在 Think Max 模式(DeepSeek-V4-Pro-Max)下,它取得了开源领域最先进的(SOTA)性能:SWE-Bench Verified 80.6%、SWE-Bench Pro 55.4%、Terminal-Bench 2.0 67.9%、MRCR 1M 83.5%、GPQA Diamond 90.1%、LiveCodeBench 93.5% 以及 Codeforces Rating 3206。该模型支持 Non-think、Think High 和 Think Max 三种推理模式,可通过 API 使用(模型标识符为 deepseek-v4-pro),并于 2026 年 4 月 24 日在 MIT 许可证下正式开源。

Specifications

注意力

注意力结构

DeepSeek Sparse Attention

注意力头

128

键值头

1

注意力头维度

512

位置嵌入

Absolute Position Embedding

RoPE Theta

10,000

滑动窗口注意力

Yes

滑动窗口大小

128

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

7,168

层数

61

FFN 中间层大小(稠密层)

3,072

多 Token 预测头数

1

分词器

词汇量大小

129,280

混合专家

专家参数总数

49.0B

专家数量

384

活跃专家

6

共享专家数

1

FFN 中间层大小(每专家)

3,072

关于 DeepSeek V4

DeepSeek-V4 is DeepSeek's latest generation of highly efficient Mixture-of-Experts language models, featuring a novel hybrid attention architecture combining Compressed Sparse Attention (CSA) and Heavily Compressed Attention (HCA) that dramatically improves long-context efficiency. Pre-trained on 32T+ tokens with a comprehensive post-training pipeline including domain-specific expert cultivation and unified model consolidation. Both V4-Pro and V4-Flash support 1M context length as standard, with three reasoning effort modes (Non-think, Think High, Think Max). Released open-source under MIT license on April 24, 2026.


其他 DeepSeek V4 模型