趋近智
活跃参数
1.6T
上下文长度
1M
模态
Text
架构
Mixture of Experts
KV 缓存速率
122 KB/tok
许可证
MIT
发布日期
24 Apr 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $1.32 · 输出: $3.96
精度
上下文
工作负载显存: 3074.95 GB
FP16 · 8K context
基础权重: 3071.50 GB
KV 缓存: 0.95 GB
运行时与计算图: 2.50 GB
32x NVIDIA H200 141GB
3075.0 / 4060.8 GB usable · TP 8 · PP 4
确定特定工作负载的硬件需求:
升级至 Pro
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 4.57.1
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashMLA |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#63
| 基准 | 分数 | 排名 |
|---|---|---|
StackUnseen | 0.91 | 4 |
0.91 | 33 | |
0.75 | 34 | |
Agent Arena | -1.23 | 43 |
0.83 | 44 | |
0.43 | 51 | |
0.72 | 52 | |
LiveBench 平均分 | 0.72 | 52 |
通用文本 | high 1455 标准 1458 | 62 56 |
0.70 | 57 | |
智能体指数 | max 0.26 | 66 |
max 0.59 high 0.59 | 67 68 | |
Web 开发 | 1448 | 70 |
max 0.30 标准 0.21 | 81 152 |
排名
#63
编程排名
#62
DeepSeek-V4-Pro 是 DeepSeek 的旗舰级开源模型,拥有 1.6T 总参数,每个 token 激活 49B 参数。该模型采用了一种新型的 CSA+HCA 混合注意力机制,相较于 DeepSeek-V3.2,仅需 27% 的推理 FLOPs 和 10% 的 KV 缓存即可实现 1M 上下文支持。在 Think Max 模式(DeepSeek-V4-Pro-Max)下,它取得了开源领域最先进的(SOTA)性能:SWE-Bench Verified 80.6%、SWE-Bench Pro 55.4%、Terminal-Bench 2.0 67.9%、MRCR 1M 83.5%、GPQA Diamond 90.1%、LiveCodeBench 93.5% 以及 Codeforces Rating 3206。该模型支持 Non-think、Think High 和 Think Max 三种推理模式,可通过 API 使用(模型标识符为 deepseek-v4-pro),并于 2026 年 4 月 24 日在 MIT 许可证下正式开源。
注意力
注意力结构
DeepSeek Sparse Attention
注意力头
128
键值头
1
注意力头维度
512
位置嵌入
Absolute Position Embedding
RoPE Theta
10,000
滑动窗口注意力
Yes
滑动窗口大小
128
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
7,168
层数
61
FFN 中间层大小(稠密层)
3,072
多 Token 预测头数
1
分词器
词汇量大小
129,280
混合专家
专家参数总数
49.0B
专家数量
384
活跃专家
6
共享专家数
1
FFN 中间层大小(每专家)
3,072
DeepSeek-V4 is DeepSeek's latest generation of highly efficient Mixture-of-Experts language models, featuring a novel hybrid attention architecture combining Compressed Sparse Attention (CSA) and Heavily Compressed Attention (HCA) that dramatically improves long-context efficiency. Pre-trained on 32T+ tokens with a comprehensive post-training pipeline including domain-specific expert cultivation and unified model consolidation. Both V4-Pro and V4-Flash support 1M context length as standard, with three reasoning effort modes (Non-think, Think High, Think Max). Released open-source under MIT license on April 24, 2026.