趋近智
活跃参数
552B
上下文长度
1.05M
模态
Text
架构
Mixture of Experts
KV 缓存速率
80 KB/tok
许可证
MIT License
发布日期
10 Sept 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.30 · 输出: $1.20
精度
上下文
工作负载显存: 1061.11 GB
FP16 · 8K context
基础权重: 1057.98 GB
KV 缓存: 0.63 GB
运行时与计算图: 2.50 GB
Cluster: 16x NVIDIA H100 80GB
1061.1 / 1152.0 GB usable · TP 8 · PP 2
确定数据中心硬件的需求:
升级至 Pro
排名
#13
| 基准 | 分数 | 排名 |
|---|---|---|
max 0.77 | 🥇 1 | |
max 0.81 | 9 | |
LiveBench 平均分 | max 0.81 | 9 |
Web 开发 | max 1665 | 13 |
max 0.79 | 16 | |
max 0.93 | 20 | |
研究生级问答 | 0.909 | 21 |
max 0.80 | 23 | |
Agent Arena | max 0.02 | 24 |
max 0.87 | 30 | |
通用文本 | max 1475 | 32 |
max 0.33 high 0.29 标准 0.18 | 59 85 172 |
排名
#13
编程排名
#19
DeepSeek-V4.1-Flash 是一款多模态混合专家 (MoE) 模型,总参数量为 552B,在预填充阶段激活 8B 参数,在解码阶段激活 16B 参数。该模型采用了带有 SWA 边界重放 (SWA Bounded Replay) 的因果编解码器架构,能够在长达 100 万 token 的长上下文窗口中显著降低 KV 缓存的内存占用。
注意力
注意力结构
Compressed Sparse Attention 2
注意力头
64
键值头
1
注意力头维度
512
位置嵌入
ROPE
RoPE Theta
10,000
滑动窗口注意力
Yes
滑动窗口大小
128
归一化
RMS Normalization
激活函数
SwigLU
维度
隐藏维度大小
5,120
层数
40
多 Token 预测头数
3
分词器
词汇量大小
129,280
混合专家
专家参数总数
16.0B
专家数量
384
活跃专家
6
共享专家数
1
FFN 中间层大小(每专家)
2,304
DeepSeek-V4 is DeepSeek's latest generation of highly efficient Mixture-of-Experts language models, featuring a novel hybrid attention architecture combining Compressed Sparse Attention (CSA) and Heavily Compressed Attention (HCA) that dramatically improves long-context efficiency. Pre-trained on 32T+ tokens with a comprehensive post-training pipeline including domain-specific expert cultivation and unified model consolidation. Both V4-Pro and V4-Flash support 1M context length as standard, with three reasoning effort modes (Non-think, Think High, Think Max). Released open-source under MIT license on April 24, 2026.