趋近智
DeepSeek-V3.1
活跃参数
671B
上下文长度
128K
模态
Text
架构
Mixture of Experts (MoE)
许可证
MIT License
发布日期
21 Aug 2025
训练数据截止日期
-
API 价格 (每 1M)
输入: $1.64 · 输出: $2.75
系统要求
不同量化方法和上下文大小的显存要求
1024 个令牌
消费级
80x RTX 4090
24GB VRAM
数据中心
21x NVIDIA A100
80GB VRAM
Apple Silicon
17x Apple M3 Max
128GB VRAM
128000 个令牌
消费级
117x RTX 4090
24GB VRAM
数据中心
29x NVIDIA A100
80GB VRAM
Apple Silicon
25x Apple M3 Max
128GB VRAM
架构图
评估基准
排名
#103
| 基准 | 分数 | 排名 |
|---|---|---|
专业知识 | 0.837 | 18 |
StackUnseen | 0.481 | 24 |
研究生级问答 | 0.749 | 78 |
通用文本 | auto 1416 标准 1417 | 101 100 |
auto 0.43 | 105 | |
智能体指数 | auto 0.07 | 109 |
auto 0.14 标准 0.14 | 219 218 |
排名
排名
#103
编程排名
#88
关于 DeepSeek-V3.1
一款支持聊天、推理和编程的混合型模型，提供“思考”与“非思考”两种模式。该模型采用专家混合（MoE）架构，具备海量的上下文长度和高效的架构设计。
技术规格
注意力
注意力结构
Multi-Head Attention
注意力头
128
键值头
128
注意力头维度
-
位置嵌入
ROPE
RoPE Theta
10,000
滑动窗口注意力
No
滑动窗口大小
-
滑动窗口比例
-
线性注意力
-
线性注意力比例
-
归一化
RMS Normalization
激活函数
SwigLU
维度
辅助参数
-
隐藏维度大小
7,168
层数
61
FFN 中间层大小（稠密层）
2,048
多 Token 预测头数
1
分词器
词汇量大小
129,280
混合专家
专家参数总数
37.0B
专家数量
257
活跃专家
8
共享专家数
1
FFN 中间层大小（每专家）
2,048
MoE 前的稠密层数
3
资源
关于 DeepSeek-V3
DeepSeek-V3 是一款混合专家 (MoE) 语言模型，总参数量为 6710 亿 (671B)，每个 token 激活的参数量为 370 亿 (37B)。其架构采用了多头潜在注意力 (Multi-head Latent Attention) 和 DeepSeekMoE，旨在实现高效的推理与训练。技术创新包括无辅助损失的负载均衡策略以及多 token 预测 (MTP) 目标，该模型在 14.8 万亿 (14.8T) tokens 的语料上训练而成。