ApX 标志ApX 标志

趋近智

CogVideoX 5B

参数

5B

模态

Video

辅助参数

4.86B

架构

Diffusion Transformer

许可证

Apache 2.0

发布日期

6 Aug 2024

API 价格 (每 1M)

仅支持自建托管

硬件选型

精度

工作负载显存: 5.32 GB

INT4 · 1024x1024

DiT 骨干权重: 2.33 GB

VAE 解码工作区: 0.49 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

5.3 / 21.6 GB usable

1x RTX 3060 12GB

5.3 / 10.8 GB usable

Apple M4 24GB

5.3 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

架构图

Noisy Video Latents3D Spatio-Temporal VAE Latents3D Patch Embedding3D Spatio-Temporal PatchifyHidden: 3.1k · Text: 4.86B enc · Timestep (t)x 42 DiT blocksAdaLN ModulationNorm · Timestep scale/shiftSpatio-Temporal Attention48 headsHead dim: 64+AdaLN ModulationNorm · Timestep scale/shiftFeed-Forward (MLP)Activation+Final Norm (AdaLN Scale)Predicted Velocity (v)Denoised 3D Latents to VAE

关于 CogVideoX 5B

CogVideoX 5B is a 3D spatio-temporal video diffusion transformer developed by Zhipu AI, utilizing a 3D VAE with 8x8x4 compression and expert transformer blocks for high-frame-rate coherence.

技术规格

注意力

注意力头

48

注意力头维度

64

维度

辅助参数

4.86B

隐藏维度大小

3,072

层数

42

关于 CogVideoX


其他 CogVideoX 模型