DeepSeek-V4-Flash-Vision-Exp

活跃参数

290.9B

上下文长度

1.05M

模态

Text

架构

Mixture of Experts

KV 缓存速率

86 KB/tok

许可证

MIT License

发布日期

31 Aug 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.44 · 输出: $1.32

硬件与系统要求

精度

Native

上下文

工作负载显存: 583.01 GB

FP16 · 8K context

基础权重: 579.84 GB

KV 缓存: 0.67 GB

运行时与计算图: 2.50 GB

最小所需硬件

8x NVIDIA H200 141GB

583.0 / 1015.2 GB usable · TP 8

确定特定工作负载的硬件需求:

升级至 Pro

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.0.0

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashMLA

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 4.1k · Context: 1.05M · Vocab: 129.3kx 43 layersRMSNormPre-AttentionDeepSeek Sparse Attention64Q / 1KV heads · SW: 128Head dim: 512+RMSNormPre-FFNSparse MoE FFN (6/256 experts)SwiGLUIntermediate: 2k+Final RMSNormOutput Logits

评估基准

排名

#36

基准分数排名

智能编程

LiveBench Agentic

0.65

5

0.79

12

智能体指数

Artificial Analysis
max

0.47

23

0.77

25

LiveBench 平均分

LiveBench Average

0.77

26

0.85

35

0.88

42

max

0.65

59

0.68

60

max

0.35

71

排名

排名

#36

编程排名

#54

关于 DeepSeek-V4-Flash-Vision-Exp

DeepSeek-V4-Flash-Vision-Exp 是一款基于 DeepSeek V4 架构的实验性多模态视觉语言模型。它具备快速的视觉推理、文档解析以及多模态指令遵循能力。

Specifications

注意力

注意力结构

DeepSeek Sparse Attention

注意力头

64

键值头

1

注意力头维度

512

位置嵌入

ROPE

RoPE Theta

10,000

滑动窗口注意力

Yes

滑动窗口大小

128

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

4,096

层数

43

多 Token 预测头数

3

分词器

词汇量大小

129,280

混合专家

专家参数总数

20.4B

专家数量

256

活跃专家

6

共享专家数

1

FFN 中间层大小(每专家)

2,048

关于 DeepSeek V4

DeepSeek-V4 is DeepSeek's latest generation of highly efficient Mixture-of-Experts language models, featuring a novel hybrid attention architecture combining Compressed Sparse Attention (CSA) and Heavily Compressed Attention (HCA) that dramatically improves long-context efficiency. Pre-trained on 32T+ tokens with a comprehensive post-training pipeline including domain-specific expert cultivation and unified model consolidation. Both V4-Pro and V4-Flash support 1M context length as standard, with three reasoning effort modes (Non-think, Think High, Think Max). Released open-source under MIT license on April 24, 2026.


其他 DeepSeek V4 模型