Hunyuan 4 Preview

活跃参数

770B

上下文长度

1.05M

模态

Text

架构

Mixture of Experts

KV 缓存速率

156 KB/tok

许可证

Apache 2.0

发布日期

27 Aug 2026

训练数据截止日期

-

API 价格 (每 1M)

输入: $0.83 · 输出: $2.50

硬件与系统要求

精度

Native

上下文

工作负载显存: 1529.23 GB

FP16 · 8K context

基础权重: 1525.51 GB

KV 缓存: 1.22 GB

运行时与计算图: 2.50 GB

最小所需硬件

16x NVIDIA H200 141GB

1529.2 / 2030.4 GB usable · TP 8 · PP 2

确定特定工作负载的硬件需求:

升级至 Pro

运行时要求

权重格式

FP16

CUDA

>= 11.8

PyTorch

>= 2.1

Transformers

>= 5.16.2

微架构精度注意力算子

Blackwell, Hopper

原生 FP16

FlashMLA

Ada Lovelace, Ampere

原生 FP16

FlashAttention-2

架构图

Input TokensToken EmbeddingPosition: RoPEHidden: 6.1k · Context: 1.05M · Vocab: 120.8kx 78 layersRMSNormPre-AttentionDeepSeek Sparse Attention64Q / 8KV headsHead dim: 64+RMSNormPre-FFNSparse MoE FFN (8/256 experts)SwiGLUIntermediate: 2k+Final RMSNormOutput Logits

评估基准

排名

#46

基准分数排名

研究生级问答

GPQA

0.923

14

Web 开发

WebDev Arena

1631.44

28

Agent Arena

Agent Arena

1093.7

36

0.35

74

排名

排名

#46

编程排名

#64

关于 Hunyuan 4 Preview

混元 4 预览版(Hunyuan 4 Preview)是腾讯推出的下一代基础模型预览版,展现了卓越的中英文语言理解能力。该模型具备增强的架构可扩展性,专为企业级推理及文本生成任务而设计。

Specifications

注意力

注意力结构

DeepSeek Sparse Attention

注意力头

64

键值头

8

注意力头维度

64

位置嵌入

ROPE

RoPE Theta

10,000,000

归一化

RMS Normalization

激活函数

SwigLU

维度

基准精度

FP16

隐藏维度大小

6,144

层数

78

FFN 中间层大小(稠密层)

18,432

多 Token 预测头数

1

分词器

词汇量大小

120,832

混合专家

专家参数总数

49.0B

专家数量

256

活跃专家

8

共享专家数

1

FFN 中间层大小(每专家)

2,048

MoE 前的稠密层数

1