ApX 标志ApX 标志

趋近智

Hunyuan Large

活跃参数

389B

上下文长度

28K

模态

Text

架构

Mixture of Experts

KV 缓存速率

960 KB/tok

许可证

Tencent Hunyuan Community License

发布日期

5 Nov 2024

训练数据截止日期

Sep 2024

API 价格 (每 1M)

仅支持自建托管

硬件选型

精度

上下文

工作负载显存: 831.43 GB

FP16 · 8K context

基础权重: 821.43 GB

KV 缓存: 7.50 GB

运行时与计算图: 2.50 GB

最小所需硬件

8x NVIDIA H200 141GB

831.4 / 1015.2 GB usable · TP 8

确定数据中心硬件的需求:

升级至 Pro

架构图

Input TokensToken EmbeddingPosition: AbsoluteHidden: 4.1k · Context: 28Kx 60 layersLayerNormPre-AttentionMulti-Head Attention64Q / 64KV headsHead dim: 64+LayerNormPre-FFNSparse MoE FFN (2/32 experts)GELU+Final LayerNormOutput Logits

评估基准

排名

#158

基准分数排名

通用文本

Text Arena

1326

146

排名

排名

#158

编程排名

-

关于 Hunyuan Large

混元-DiT(Hunyuan-DiT)是一款旨在实现高保真图像生成的大规模专家混合(MoE)扩散 Transformer 模型。它代表了腾讯在生成式 AI 领域的进步,将 Transformer 架构直接应用于图像生成的潜空间。其主要功能是根据文本提示词合成多样化且高质量的图像,从而赋能内容创作和视觉设计应用。该模型以其模块化架构著称,能够实现高效的扩展和推理。

混元-DiT 模型采用扩散 Transformer 架构,特别利用了专家混合(MoE)设计。该架构将模型的参数划分为多个“专家”,在推理过程中,每个输入 token 仅激活这些专家中的一个子集。这种方法使模型在拥有约 3890 亿总参数量的同时,将激活参数量保持在约 520 亿的可控范围内,从而显著提高了计算效率。该模型包含 60 个 Transformer 层和 64 个注意力头,采用了 GeLU 激活函数和层归一化(Layer Normalization)。其设计支持灵活的图像分辨率,并采用绝对位置嵌入,同时集成了旋转位置编码(RoPE)以增强性能。此外,它还结合使用了双语 CLIP 和多语言 T5 编码器,以实现对提示词强大的文本理解能力。

混元-DiT 专为生成高分辨率且视觉连贯的图像而设计,支持高达 4096x4096 的分辨率。其 MoE 架构有助于实现高效扩展,使其适用于对高质量和计算效率均有要求的部署场景。主要应用场景包括创意内容生成、视觉资产制作,以及需要先进文生图能力的领域,如广告、数字艺术和虚拟环境设计。此外,它还支持多轮多模态对话,能够根据用户交互进行迭代式的图像细化与优化。

技术规格

注意力

注意力结构

Multi-Head Attention

注意力头

64

键值头

64

位置嵌入

Absolute Position Embedding

归一化

Layer Normalization

激活函数

GELU

维度

隐藏维度大小

4,096

层数

60

混合专家

专家参数总数

52.0B

专家数量

32

活跃专家

2

Hunyuan Large - 显存要求、模型规格与基准测试