活跃参数
770B
上下文长度
1.05M
模态
Text
架构
Mixture of Experts
KV 缓存速率
156 KB/tok
许可证
Apache 2.0
发布日期
27 Aug 2026
训练数据截止日期
-
API 价格 (每 1M)
输入: $0.83 · 输出: $2.50
精度
上下文
工作负载显存: 1529.23 GB
FP16 · 8K context
基础权重: 1525.51 GB
KV 缓存: 1.22 GB
运行时与计算图: 2.50 GB
16x NVIDIA H200 141GB
1529.2 / 2030.4 GB usable · TP 8 · PP 2
确定特定工作负载的硬件需求:
升级至 Pro
权重格式
FP16
CUDA
>= 11.8
PyTorch
>= 2.1
Transformers
>= 5.16.2
| 微架构 | 精度 | 注意力算子 |
|---|---|---|
Blackwell, Hopper | 原生 FP16 | FlashMLA |
Ada Lovelace, Ampere | 原生 FP16 | FlashAttention-2 |
排名
#46
| 基准 | 分数 | 排名 |
|---|---|---|
研究生级问答 | 0.923 | 14 |
Web 开发 | 1631.44 | 28 |
Agent Arena | 1093.7 | 36 |
0.35 | 74 |
排名
#46
编程排名
#64
混元 4 预览版(Hunyuan 4 Preview)是腾讯推出的下一代基础模型预览版,展现了卓越的中英文语言理解能力。该模型具备增强的架构可扩展性,专为企业级推理及文本生成任务而设计。
注意力
注意力结构
DeepSeek Sparse Attention
注意力头
64
键值头
8
注意力头维度
64
位置嵌入
ROPE
RoPE Theta
10,000,000
归一化
RMS Normalization
激活函数
SwigLU
维度
基准精度
FP16
隐藏维度大小
6,144
层数
78
FFN 中间层大小(稠密层)
18,432
多 Token 预测头数
1
分词器
词汇量大小
120,832
混合专家
专家参数总数
49.0B
专家数量
256
活跃专家
8
共享专家数
1
FFN 中间层大小(每专家)
2,048
MoE 前的稠密层数
1