活跃参数
290.9B
上下文长度
1.05M
模态
Text
架构
Mixture of Experts
KV 缓存速率
86 KB/tok
许可证
MIT License
发布日期
31 Aug 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.44 · 输出: $1.32
精度
上下文
工作负载显存: 583.01 GB
FP16 · 8K context
基础权重: 579.84 GB
KV 缓存: 0.67 GB
运行时与计算图: 2.50 GB
8x NVIDIA H200 141GB
583.0 / 1015.2 GB usable · TP 8
确定特定工作负载的硬件需求:
升级至 Pro
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.0.0
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashMLA |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#36
| 基准 | 分数 | 排名 |
|---|---|---|
0.65 | 5 | |
0.79 | 12 | |
智能体指数 | max 0.47 | 23 |
0.77 | 25 | |
LiveBench 平均分 | 0.77 | 26 |
0.85 | 35 | |
0.88 | 42 | |
max 0.65 | 59 | |
0.68 | 60 | |
max 0.35 | 71 |
排名
#36
编程排名
#54
DeepSeek-V4-Flash-Vision-Exp 是一款基于 DeepSeek V4 架构的实验性多模态视觉语言模型。它具备快速的视觉推理、文档解析以及多模态指令遵循能力。
注意力
注意力结构
DeepSeek Sparse Attention
注意力头
64
键值头
1
注意力头维度
512
位置嵌入
ROPE
RoPE Theta
10,000
滑动窗口注意力
Yes
滑动窗口大小
128
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
4,096
层数
43
多 Token 预测头数
3
分词器
词汇量大小
129,280
混合专家
专家参数总数
20.4B
专家数量
256
活跃专家
6
共享专家数
1
FFN 中间层大小(每专家)
2,048
DeepSeek-V4 is DeepSeek's latest generation of highly efficient Mixture-of-Experts language models, featuring a novel hybrid attention architecture combining Compressed Sparse Attention (CSA) and Heavily Compressed Attention (HCA) that dramatically improves long-context efficiency. Pre-trained on 32T+ tokens with a comprehensive post-training pipeline including domain-specific expert cultivation and unified model consolidation. Both V4-Pro and V4-Flash support 1M context length as standard, with three reasoning effort modes (Non-think, Think High, Think Max). Released open-source under MIT license on April 24, 2026.