ApX 标志ApX 标志

趋近智

Mochi 1 Preview

参数

10B

模态

Video

辅助参数

4.86B

架构

Diffusion Transformer

许可证

Apache 2.0

发布日期

22 Oct 2024

API 价格 (每 1M)

仅支持自建托管

硬件选型

精度

工作负载显存: 7.72 GB

INT4 · 1024x1024

DiT 骨干权重: 4.66 GB

VAE 解码工作区: 0.56 GB

运行时与计算图: 2.50 GB

最小所需硬件

1x NVIDIA L4 24GB

7.7 / 21.6 GB usable

1x RTX 3060 12GB

7.7 / 10.8 GB usable

Apple M4 24GB

7.7 / 18.0 GB usable

确定特定工作负载的硬件需求:

在显存计算器中打开

架构图

Noisy Video Latents3D Spatio-Temporal VAE Latents3D Patch Embedding3D Spatio-Temporal PatchifyHidden: 3.1k · Text: 4.86B enc · Timestep (t)x 48 DiT blocksAdaLN ModulationNorm · Timestep scale/shiftSpatio-Temporal Attention24 headsHead dim: 128+AdaLN ModulationNorm · Timestep scale/shiftFeed-Forward (MLP)Activation+Final Norm (AdaLN Scale)Predicted Velocity (v)Denoised 3D Latents to VAE

关于 Mochi 1 Preview

Mochi 1 Preview is a 10B parameter video DiT developed by Genmo, featuring Asymmetric Diffusion Transformer (AsymmDiT) blocks and 8.4x spatio-temporal VAE compression for motion fluidity.

技术规格

注意力

注意力头

24

注意力头维度

128

维度

辅助参数

4.86B

隐藏维度大小

3,072

层数

48

关于 Mochi


其他 Mochi 模型
  • 没有相关模型