ApX 显存计算器用于在采购或调配硬件前,精准建模 GPU 显存分配、生成吞吐量、首字延迟及训练步长耗时。GPU 总显存占用并非仅由量化后的权重大小决定:服务进程会预留可用显存上限,为词嵌入和词表小于 256,000 的非绑定输出头保留 16 位精度,分配驱动上下文和 CUDA Graph 捕获池,并将剩余显存划分为固定大小的 KV 分页。
除单机评估外,基于约束的硬件配置规划器还会根据目标 TTFT、单用户 tok/s、显存余量及每小时预算,搜索 GPU 型号、节点数量、量化格式、张量并行度和流水线并行度组合。违反物理限制或 SLA 约束的候选配置会附带明确的淘汰原因返回。
每次运行都会输出运行时诊断建议,涵盖预填充饥饿、PCIe All-Reduce 瓶颈、FP8 软件解包、KV 池抢占拐点以及流水线首尾阶段不对称性风险。
| 工作负载 | 覆盖模型 | 核心容量驱动因素 | 输出指标 |
|---|---|---|---|
| 自回归文本与多模态推理 | Dense、MoE、状态空间模型 (SSM)、视觉-语言、音频-语言 | 权重精度、KV Cache 精度、上下文长度、批大小、并发数、推理引擎 | 总显存与单卡显存、解码 tok/s、TTFT、P50/P95/P99 TTFT、可持续 QPS |
| 非生成式单次前向推理 | Embedding 向量模型、Reranking 重排模型、判别模型 | 序列长度、批大小、权重精度 | 零 KV Cache 显存占用、前向延迟、samples/s |
| 模型微调 | 全量微调 (Full Fine-Tuning)、LoRA、QLoRA | 优化器类型、ZeRO 阶段、微批大小、梯度累积步数、序列长度、LoRA 秩 | 峰值显存、训练 tok/s、samples/s、单步耗时、Tensor Core MFU |
| 图像与视频扩散生成 | DiT 与 UNet 主干网络,涵盖推理与微调 | 分辨率、帧数、去噪步数、引导系数 (guidance scale)、VAE 分块解码、编码器卸载 | 峰值显存、总生成耗时、单步耗时、iterations/s、潜空间 patch token 数 |
| 平台类别 | 代表性硬件 | 显存与驱动特性 |
|---|---|---|
| NVIDIA 数据中心卡 | H100、H200、B200、A100、L40S、L4 | 专用 HBM 或 ECC GDDR6 显存、单卡独立服务进程、NCCL 集合通信支持 |
| NVIDIA 消费级显卡 | RTX 5090、4090、3090、工作站 RTX Ada 系列 | 专用 GDDR6X 或 GDDR7 显存,多卡扩展受限于 PCIe 带宽 |
| AMD 数据中心卡 | Instinct MI300X、MI325X、MI350X、MI250 | 大容量 HBM3/HBM3e 显存、ROCm / rocBLAS 软件栈、xGMI 互联 |
| AMD 消费级显卡与 APU | Radeon RX 7900 XTX、RX 9070、Radeon AI Pro、Ryzen AI | 独立 GDDR6 显存或与系统内存共享的统一 LPDDR5X 内存 |
| Apple Silicon 统一内存 | M1 至 M5 Pro、Max 及 Ultra | SoC 统一内存默认上限为总内存的 75%,基于 Metal / MPS 后端 |
输入自定义硬件参数时,请填写稠密 FP16 或 BF16 Tensor Core TFLOPS,而非 FP32 向量算力或 2:4 稀疏宣传峰值。
计算器将静态常驻参数显存与动态单 token 计算量及注意力状态分离建模。权重精度、非量化投影层规则以及注意力几何结构共同决定了最低显存门槛与生成每个 token 所需的带宽。
专家混合 (MoE) 模型将所有路由专家和共享专家常驻于显存中,但每个 token 仅流式读取激活的专家。随着批大小增大,并发 token 每步会激活更多不同的专家,使 MoE 解码从激活专家带宽受限平滑过渡到常驻权重带宽受限。
在权重量化下,词嵌入、词表小于 256,000 的非绑定 lm_head 输出投影以及多模态视觉/音频编码器仍保留 16 位精度(<mBytes/>):
针对自定义或魔改架构,您可以直接覆盖层数、隐藏层维度、FFN 中间层大小、词表大小、Query 头数及 KV 头数。
在长上下文或高并发场景下,KV Cache 显存占用往往超过模型权重本身。对于多头注意力 (MHA)、分组查询注意力 (GQA) 和多查询注意力 (MQA),单 token 单层的 KV 显存随 KV 头数 <mNkv/>、单头维度 <mDhead/> 及 KV 精度字节数 <mBkv/> 线性增长:
多头潜在注意力 (MLA) 将 Key 和 Value 投影压缩为维度 <mDc/> 的联合潜在向量加上维度 <mDr/> 的解耦旋转位置 Key;而滑动窗口注意力 (SWA) 将窗口层的缓存上限限制在窗口长度 <mW/>:
DeepSeek 稀疏注意力 (DSA) 将网络层划分为滑动窗口、4:1 压缩和 128:1 压缩三类层级并附带稀疏索引 Key <mDidx/>;压缩稀疏注意力 2 (CSA2) 仅在 <mLsrc/> 个源层保留潜在 KV 状态,下游层仅存储索引 Key。混合架构模型则按全注意力层比例 <mFfull/> 缩放 KV 增长:
64 层、8192 隐藏维度模型下,单用户标准与分组 FP16 KV Cache 显存占用
| 上下文长度 | MHA | GQA 8:1 | MQA 64:1 |
|---|---|---|---|
| 4k | 8 GB | 1 GB | 0.13 GB |
| 16k | 32 GB | 4 GB | 0.5 GB |
| 32k | 64 GB | 8 GB | 1 GB |
| 64k | 128 GB | 16 GB | 2 GB |
| 128k | 256 GB | 32 GB | 4 GB |
64 层模型下,单用户压缩与滑动窗口 FP16 KV Cache 显存占用
| 上下文长度 | MLA | SWA 4k | DSA | CSA2 |
|---|---|---|---|---|
| 4k | 0.28 GB | 1 GB | 0.05 GB | 0.02 GB |
| 16k | 1.13 GB | 1 GB | 0.16 GB | 0.08 GB |
| 32k | 2.25 GB | 1 GB | 0.32 GB | 0.16 GB |
| 64k | 4.5 GB | 1 GB | 0.63 GB | 0.33 GB |
| 128k | 9 GB | 1 GB | 1.25 GB | 0.65 GB |
| 注意力机制 | 缩写 | KV 存储几何结构 | 容量影响 |
|---|---|---|---|
| 多头注意力 (Multi-Head Attention) | MHA | 每个 Query 头对应独立的完整 K 和 V 向量 | KV 增长最快,长上下文下极易耗尽显存 |
| 分组查询注意力 (Grouped-Query Attention) | GQA | 多个 Query 头组内共享 K 和 V 头 | KV Cache 通常比 MHA 小 4 倍至 8 倍 |
| 多查询注意力 (Multi-Query Attention) | MQA | 所有 Query 头共享单个 K 和 V 头 | 单头 KV 占用最小 |
| 多头潜在注意力 (Multi-Head Latent Attention) | MLA | 联合低秩压缩的 KV 潜在向量 | 相比 MHA 减少约 20 倍至 25 倍 KV Cache |
| DeepSeek 稀疏注意力 | DSA | 三层混合:滑动窗口、4:1 压缩及 128:1 压缩层配合稀疏索引 Key | 超长上下文下呈亚线性 KV 扩展 |
| 压缩稀疏注意力 2 | CSA2 | 跨层共享源层潜在 KV,下游层仅保留稀疏索引 Key | 跨层复用源层 KV 状态,实现极小多层占用 |
| 滑动窗口注意力 (Sliding Window Attention) | SWA | 将窗口层的缓存上限固定在滑动窗口长度 | 防止 KV 随上下文无限增长 |
| 线性 / 全注意力混合架构 | Hybrid | 将循环线性注意力层与周期性全注意力层混合 | KV Cache 按全注意力层比例等比缩减 |
纯状态空间模型(如 Mamba SSM)使用固定大小的循环状态缓冲区 <mSsm/> 替代注意力 KV Cache,使显存占用与序列长度无关。
权重精度与 KV Cache 精度可独立配置。实际执行速度取决于所选 GPU 是否具备对应格式的原生 Tensor Core 或 Matrix Core 硬件加速:
| 格式 | 每参数字节数 | 适用对象 | 硬件与执行行为 |
|---|---|---|---|
FP32 | 4.00 | 权重、主权重 | 全精度基准 |
FP16, BF16 | 2.00 | 权重、KV、激活值 | 标准 16 位 Tensor / Matrix Core 速率 |
FP8 | 1.00 | 权重、KV Cache | Ada、Hopper、Blackwell、CDNA3、CDNA4、RDNA4 支持原生 2x 速率;其余架构软件模拟 |
NVFP6 | 0.75 | 权重 | 6 位微缩放浮点格式 |
NVFP4 | 0.50 | 权重 | Blackwell 与 CDNA4 支持原生 4x Tensor Core 速率 |
INT8, Q8 | 1.00 | 权重、KV Cache | W8A16 在 GEMM 前解包至 16 位寄存器 |
INT4 AWQ/GPTQ | 0.50 | 权重 | W4A16 每步反量化为 16 位计算 |
GGUF Q6_K 至 Q2_K | 0.8125 至 0.32 | GGUF 权重 | 分块 K-quant 量化,在 llama.cpp 中包含词嵌入量化 |
Q4 KV Cache | 0.50 | KV Cache | 4 位 KV 存储以最大化上下文并发数 |
FP8 权重解包为 16 位,从而降低生成速度。INT8 和 INT4 在低批大小下能减少显存带宽占用,但每步都会引入反量化开销,在 Eager PyTorch 模式下尤为明显。RTX 30xx 显卡在训练时采用 FP32 累加梯度,有效算力仅为规格表 FP16 累加峰值的一半。所有工作负载都将可用设备显存划分为静态共享分配和动态单请求/单步缓冲池。计算器在评估显存是否充足前,会完整计入张量权重、KV 分页、优化器状态、激活峰值以及运行时驱动预留。
推理显存分为静态共享显存和单用户动态显存。启用前缀缓存 (Prefix Caching) 时,共享系统提示词 token <mShared/> 在 <mLayers/> 层中仅存储一份,而各用户独有 token <mUnique/> 随活跃用户数 <mUsers/> 线性扩展:
前缀共享按运行时对齐至 16 或 32 token 的 KV 分页边界,未对齐的尾部 token 仍不共享。
物理设备显存经由运行时上限切分为可用预算,再划分为静态共享显存与动态请求池。
| 显存分桶 | 作用域 | 容量计算行为 |
|---|---|---|
| 基础 / 专家模型权重 | 静态共享 | Transformer 层、未量化词嵌入以及多模态编码塔 |
| 草稿模型权重 | 静态共享 | 启用投机采样时常驻显存的草稿模型 |
| KV Cache | 单用户动态 | 每个活跃请求流的注意力状态,或按运行时上限预分配的完整 KV 池 |
| 激活值 | 动态 | 在分块预填充下受 256 至 16,384 token 分块预算约束;否则随完整提示词长度缩放 |
| Logits 缓冲区 | 动态 | 按最终 token 或完整预填充序列大小分配的输出词表投影 |
| CUDA Graph 桶 | 静态共享 | 在 Graph 捕获模式下为不同批大小桶预留的捕获图内存池 |
实例说明:在单张 80 GB H100 上使用 vLLM 部署 70B FP8 模型时,按 70B 乘以 1 字节估算看似还剩 10 GB 空间。实际上,vLLM 将可用显存上限设为 92%(73.6 GB),而未量化的 16 位词嵌入、lm_head 权重、驱动上下文以及 CUDA Graph 捕获池占用了大量空间,留给 32k 上下文并发请求的 KV 块余量非常有限。可在 显存计算器 中直接查看此配置。
FP32 主权重。对 <mP/> 个参数使用 32 位 AdamW 时,不含激活值的静态训练状态总计 <m16p/> 字节;纯 BF16 下可降至 <m6p/> 字节,使用 8 位优化器状态则为 <m8p/> 字节。r 的适配器 <mPadapter/>,仅对 <mPadapter/> 分配梯度与优化器状态。QLoRA 将冻结的 Transformer 主体压缩至 4 位,并增加用于实时反量化的 QLoRA 缓冲区。FP32 词表 logits。| 优化器 | 状态存储 | 主权重 | 显存权衡 |
|---|---|---|---|
| AdamW | 32 位一阶矩与二阶矩 | 混合精度 FP32 副本 | 显存需求最高;基准收敛表现 |
| 8 位优化器 | 8 位量化状态 | 混合精度 FP32 副本 | 一阶与二阶矩显存减少 4 倍 |
| 分页优化器 | 8 位或 32 位状态 | 显存紧张时换出至主机内存 | 吸收激活值峰值波动而不发生 OOM |
| 纯 BF16 训练 | 16 位状态 | 无 | 省去 FP32 主权重并将状态精度减半 |
| SGD | 32 位动量 | 混合精度 FP32 副本 | 仅需单个状态张量而非两个 |
| Adafactor | 分解的行与列累加器 | 混合精度 FP32 副本 | 亚线性二阶矩存储开销 |
实例说明:在单张 80 GB H100 上使用 vLLM 部署 70B FP8 模型时,按 70B 乘以 1 字节估算看似还剩 10 GB 空间。实际上,vLLM 将可用显存上限设为 92%(73.6 GB),而未量化的 16 位词嵌入、lm_head 权重、驱动上下文以及 CUDA Graph 捕获池占用了大量空间,留给 32k 上下文并发请求的 KV 块余量非常有限。可在 显存计算器 中直接查看此配置。
扩散模型显存追踪 DiT 主干权重、16 位文本编码器权重、潜空间激活值以及 VAE 解码工作区。Patch 注意力显存随 2D 或 3D 潜空间 patch token 数 <mSpatches/> 缩放,由宽度 <mW/>、高度 <mH/> 和帧数 <mT/> 通过 <mFs/>、<mPs/>、<mPt/> 及视频时的 <mFt/> (<mTgt1/>) 计算得出:
当无分类器引导 guidance_scale > 1.0 时,有效批激活值翻倍。在顺序 CPU 卸载模式下,峰值显存从所有组件之和降至文本编码器或 DiT 主干的最大值加上活跃潜空间与 VAE 工作区。VAE 分块 (Tiling) 限制高分辨率图像和视频片段的立体解码显存。
每个活跃的 GPU 进程在开始服务前都会预留非张量显存。在多卡节点上,这些预留按进程成倍增加,每张卡消耗 0.5 GB 至数 GB 不等。
| 子分桶 | 厂商软件栈标识 | 物理用途 |
|---|---|---|
| 驱动上下文 | CUDA, ROCm, Metal Driver Context | 单卡页表、命令队列、虚拟地址空间 |
| BLAS 工作区 | cuBLAS, rocBLAS, MPS Workspaces | 预分配的 GEMM 矩阵乘临时缓冲区 |
| 分配器保留 | Allocator Retention, Unified Allocator Retention | 防止操作系统内存页抖动的缓存池余量 |
| 算子工作区 | Operator Workspaces | 归一化、RoPE 与注意力算子的临时缓冲区 |
实例说明:在单张 80 GB H100 上使用 vLLM 部署 70B FP8 模型时,按 70B 乘以 1 字节估算看似还剩 10 GB 空间。实际上,vLLM 将可用显存上限设为 92%(73.6 GB),而未量化的 16 位词嵌入、lm_head 权重、驱动上下文以及 CUDA Graph 捕获池占用了大量空间,留给 32k 上下文并发请求的 KV 块余量非常有限。可在 显存计算器 中直接查看此配置。
推理引擎、扩散管线和训练框架通过共享的运行时特性进行建模:调度模式、KV 分页策略、预填充块预算、可用显存上限、前缀缓存以及进程拓扑。框架预设会为这些特性应用一组命名默认值,且任何单个特性都可逐项覆盖而无需脱离预设。
框架预设(vLLM、SGLang、TensorRT-LLM、Ollama、HF Transformers)映射到共享运行时特性:CUDA Graphs、分页 KV + 前缀缓存、分块预填充以及 Eager / 未分页。
| 引擎 | 调度方式 | 预填充行为 | KV 分页 | 可用显存策略 | 前缀缓存与进程模型 |
|---|---|---|---|---|---|
| vLLM | CUDA Graphs | 按 GPU 显存档位分块预填充(2,048、8,192 或 16,384 token) | 16-token 块 | 总显存的 92% | 每卡独立工作进程;开启块哈希前缀缓存 |
| SGLang | CUDA Graphs | 分块预填充 | 分页显存池 | 88% 静态显存比例 | 每卡独立工作进程;RadixAttention 树状前缀缓存 |
| TensorRT-LLM | 捕获引擎 (Captured engine) | 默认关闭分块预填充;拒绝超过 8,192 max_num_tokens 的提示词 | 32-token 块 | 加载权重后剩余显存的 90% | 每卡独立工作进程;开启块复用 |
| llama.cpp | CUDA Graphs | 512-token 微批 | 统一上下文池 | 全部可用显存 | 共享进程;输入 tok_embd 保留在主机内存中 |
| Ollama | CUDA Graphs | 512-token 微批 | 23 GiB 以下默认 4k,23+ GiB 为 32k,47+ GiB 为 256k | 全部可用显存 | 共享进程;默认单请求并发 |
| HF Transformers | Eager PyTorch | 单次前向处理完整提示词 | 未分页 DynamicCache | 全部可用显存 | 分层切分共享进程;静态批处理 |
| 通用 (Generic) | 按硬件推断 | 按硬件推断 | 按硬件推断 | 全部可用显存 | 消费级/Metal 共享进程;数据中心卡每卡独立进程 |
当运行时预设设为 Auto 时,对于 Apple Silicon 或单张消费级显卡上的 GGUF 量化,计算器会选择 llama.cpp;对于单张 NVIDIA 消费级显卡上的标准量化,选择 Ollama;对于数据中心 GPU 或多卡 NVIDIA 消费级平台,则选择 vLLM。
| 引擎 | 执行策略 | 显存策略 | 自动选择规则 |
|---|---|---|---|
| Diffusers Pipeline | 基于 PyTorch SDPA 的顺序管线 | PyTorch 缓存分配器;按子模块顺序 CPU 卸载 | 24 GB 至 47 GB 消费级显卡及微调 |
| ComfyUI Node Engine | 统一节点执行图 | 节点级动态权重交换;跨阶段零残留显存 | 24 GB 以下显存的消费级显卡 |
| TensorRT Diffusion | 结合静态 FMHA 的捕获 CUDA Graphs | 95% 可用显存比例;异步多流 VAE 解码 | 数据中心 GPU 或 48 GB+ 显卡 |
实例说明:在单张 80 GB H100 上使用 vLLM 部署 70B FP8 模型时,按 70B 乘以 1 字节估算看似还剩 10 GB 空间。实际上,vLLM 将可用显存上限设为 92%(73.6 GB),而未量化的 16 位词嵌入、lm_head 权重、驱动上下文以及 CUDA Graph 捕获池占用了大量空间,留给 32k 上下文并发请求的 KV 块余量非常有限。可在 显存计算器 中直接查看此配置。
| 框架 | 注意力与损失函数 | 检查点与序列打包 | 默认优化器与精度 | 自动选择规则 |
|---|---|---|---|---|
| HF Transformers + PEFT | PyTorch SDPA;完整 FP32 损失 logits | 关闭检查点;动态填充 | 32 位 AdamW;QLoRA 下保持 16 位词嵌入 | 单卡消费级全量微调 |
| Unsloth | 融合 Triton 内核;分块交叉熵 | 主机卸载检查点;开启序列打包 | 分页 8 位优化器 | 单卡 LoRA 与 QLoRA |
| torchtune | Flash / SDPA;线性交叉熵损失 | 开启激活检查点;关闭打包 | 纯 BF16 权重与优化器状态 | 数据中心全量微调及多卡/多节点训练 |
在 <mNdp/> 张数据并行 GPU 上,DeepSpeed ZeRO Stage 1 将优化器状态除以 <mNdp/>;ZeRO Stage 2 将优化器状态和梯度除以 <mNdp/>;而 ZeRO Stage 3 或 PyTorch FSDP 则将参数、梯度、优化器状态及检查点激活边界均除以 <mNdp/>。
| 控制项 | 可选项 | 实际影响 |
|---|---|---|
| 执行模式 | Graph 捕获 vs. 动态 Eager | Graph 捕获可消除 Python/CPU 调度开销,代价是占用静态 CUDA Graph 池显存 |
| 预填充模式 | 分块 256 至 16,384 token,或完整序列 | 分块可限制预填充激活值峰值,防止长提示词阻塞活跃的解码流 |
| GPU 显存预留比例 | 0.50 至 0.98 | 设定引擎在拒绝新请求前为权重与 KV 块池保留的显存比例 |
| 前缀缓存 | 开启或关闭 | 为共享系统提示词复用 KV 块,降低单用户 KV 增长并缩短 TTFT |
| 连续批处理 | 连续 vs. 静态 | 迭代级调度可显著提升非均匀请求长度下的总吞吐量 |
| 静态显存预分配 | 按需分配 vs. 预分配比例 | 模拟启动时即一次性占用完整 KV 显存池的推理引擎 |
吞吐量与延迟遵循物理硬件屋顶线 (Roofline) 及运行时调度行为。性能模型涵盖单流解码速度、提示词预填充延迟以及并发 KV 池接近饱和时的尾部延迟悬崖。
自回归解码吞吐量受限于硬件显存带宽 <mBw/> 与稠密算力 <mFlops/>,并由经过实测校准的芯片、量化及批效率系数 <mEtaBw/> 和 <mEtaCompute/> 进行缩放:
随着执行从显存带宽受限转向计算受限,归一化解码吞吐量随批大小的变化
| KV 池利用率 | P50 TTFT 倍率 | P99 TTFT 倍率 |
|---|---|---|
| 20% | 1x | 1.2x |
| 40% | 1.1x | 1.5x |
| 60% | 1.3x | 2.1x |
| 80% | 1.7x | 3.2x |
| 95% | 2.4x | 5.1x |
| 100% | 3.1x | 7.4x |
| 110% | 6.8x | 18.5x |
解码从显存带宽受限过渡到算力受限的转折点发生在算术强度临界批大小 <mBstar/>:
对于专家混合 (MoE) 模型,批大小 <mB/> 的增加会提高每步激活的不同路由专家数量,使解码带宽需求从激活专家权重平滑过渡到全部常驻专家池。
长上下文下的提示词预填充在线性投影与二次方复杂度 <mSseq2/> 的自注意力上均受算力限制:
对于扩散 Transformer,每个去噪步结合了线性主干 FLOPs <mDitLinear/> 与二次方复杂度 patch 注意力 <mDitAttn/>。
有效带宽、算力利用率及调度开销均已在物理硬件基准上完成校准,详见 精度评分卡。
剩余可用显存被划分为固定大小的 KV 块(如 vLLM 为 16 token,TensorRT-LLM 为 32 token),每个用户独有的非共享 token 向上取整至整块。当请求负载接近理论服务容量时,连续批处理的排队延迟急剧上升,并在安全工作拐点处引发尾部延迟悬崖;可持续 QPS 必须低于该饱和拐点。
安全工作拐点前后,相对 TTFT 延迟倍率随 KV 块池利用率的变化
| KV 池利用率 | P50 TTFT 倍率 | P99 TTFT 倍率 |
|---|---|---|
| 20% | 1x | 1.2x |
| 40% | 1.1x | 1.5x |
| 60% | 1.3x | 2.1x |
| 80% | 1.7x | 3.2x |
| 95% | 2.4x | 5.1x |
| 100% | 3.1x | 7.4x |
| 110% | 6.8x | 18.5x |
并发分析器跟踪分配器准入占用水位以评估中度与重度抢占风险,输出 P50、P95 和 P99 TTFT,并在未分块的长提示词阻塞活跃解码流时标记预填充饥饿警告。
顺序草稿方法使用较小的独立模型生成 <mGamma/> 个候选 token,再由目标模型并行验证。块并行草稿方法(如 DFlash、Medusa 和 Eagle)则在单次前向中直接提出一个 token 块。
两种方法都能提高低批大小下的解码速度,但常驻的草稿权重会压缩空闲 KV 块池,从而降低无抢占并发上限。
训练单步延迟分为四个阶段:前向传播、包含梯度检查点重计算的反向传播、跨越 TP/PP/DP 组的集合通信以及包含主机卸载传输的优化器更新步。ZeRO Stage 3 和 FSDP 在 <mNdp/> 张设备上同时建模 All-Gather 参数与 Reduce-Scatter 梯度通信,而 ZeRO Stage 2 仅建模 Reduce-Scatter 梯度通信,并标记出通信受限的步骤。
在剩余激活余量内扫描 1 到 32 的微批大小,可绘制 Tensor Core MFU 饱和曲线,定位反向传播激活 OOM 前的最大安全微批,并计算达到目标全局批大小所需的梯度累积步数。
多设备配置涵盖单机多卡工作站与跨节点集群,按张量并行、流水线并行、序列并行和数据并行进行切分。
| 并行策略 | 切分对象 | 通信模式 | 适用场景 |
|---|---|---|---|
| 张量并行 (TP) | 注意力头、MLP 矩阵、KV Cache | 每层执行 All-Reduce | NVLink 或 xGMI 节点内追求最低单用户延迟 |
| 流水线并行 (PP) | 跨阶段切分模型层组 | 阶段间点对点传递 | 跨越 PCIe 链路或多节点部署 |
| 序列并行 (SP) | DiT 中的 2D 与 3D 潜空间 patch token | Ring 或 Ulysses 注意力交换 | 高分辨率图像与视频扩散生成 |
| 数据并行 (DP) | 独立副本或 ZeRO 分片 | 推理无通信;训练执行 ZeRO 集合通信 | 扩展总 QPS 或训练批大小 |
在 <mNpp/> 级流水线并行下,Stage 0 除分配到的层外还需存放输入词嵌入,而最末阶段需存放 lm_head。若仅按单卡平均显存规划集群,首尾外侧阶段会率先 OOM:
4 级流水线并行下,具备 128k 非绑定词表的 70B FP16 模型各阶段权重显存
| 阶段 | Transformer 层 | 词嵌入 / lm_head |
|---|---|---|
| Stage 0 | 35 GB | 2 GB |
| Stage 1 | 35 GB | 0 GB |
| Stage 2 | 35 GB | 0 GB |
| Stage 3 | 35 GB | 2 GB |
以 4 级流水线部署具备 128k 非绑定词表的 70B FP16 模型为例,中间阶段仅持有 35.0 GB 模型层,而 Stage 0 和 Stage 3 各持有 37.0 GB。仅按 35.5 GB 的均值估算会低估外侧阶段每卡 1.5 GB 的峰值需求。可在 显存计算器 中评估多卡切分方案。
| 层级 | 支持互联 | 可行并行策略 |
|---|---|---|
| 高速互联 | NVLink Gen 2 至 Gen 6、NVLink Bridge、AMD Infinity Fabric xGMI、InfiniBand EDR 至 XDR | 张量并行、序列并行、FSDP / ZeRO-3 |
| PCIe | PCIe 3.0、4.0 及 5.0 x16 | 流水线并行、数据并行、低度张量并行 |
| 网络与外部链路 | Thunderbolt 4 与 5、1G 至 400G 以太网 | 流水线并行或副本式数据并行 |
当张量并行、流水线并行阶段或 FSDP/ZeRO 副本跨越多个物理节点时,通信效率会根据跨节点跳数的精确比例在节点内高速互联与节点间网络之间混合计算。
多节点配置还会输出分离式预填充/解码 (Disaggregated Prefill/Decode) 网络预算,详细列出单请求 KV 传输量、所需链路带宽以及从 100G 以太网 到 800G InfiniBand / RoCE 的最低网卡线速要求。
Node 0 与 Node 1 内部通过 NVLink 或 xGMI 运行节点内 TP 与 PP,而跨节点 PP、DP/ZeRO 及 KV 传输则经由 InfiniBand 或以太网。
| 卸载目标 | 粒度 | 性能影响 |
|---|---|---|
| 模型权重 | 按层数或百分比卸载至系统内存 / NVMe;优先卸载 MoE 专家权重再卸载共享层 | 将流式层权重读取从 HBM 转移至 PCIe / NVMe |
| KV Cache | 完整 KV 池卸载至系统内存 | 每个 token 均需经 PCIe 传输注意力状态,大幅降低解码 tok/s |
| ZeRO 训练状态 | 优化器状态、梯度及激活值卸载至 CPU / NVMe | 为优化器更新和反向传播增加 PCIe 传输延迟 |
实例说明:在单张 80 GB H100 上使用 vLLM 部署 70B FP8 模型时,按 70B 乘以 1 字节估算看似还剩 10 GB 空间。实际上,vLLM 将可用显存上限设为 92%(73.6 GB),而未量化的 16 位词嵌入、lm_head 权重、驱动上下文以及 CUDA Graph 捕获池占用了大量空间,留给 32k 上下文并发请求的 KV 块余量非常有限。可在 显存计算器 中直接查看此配置。
所有预测结果持续通过物理硬件实测轨迹进行验证,实时测试用例与误差分布公布于 精度评分卡。
| 测试套件 | 验证内容 | 实测基准来源 |
|---|---|---|
| Suite A:模型权重 | 静态权重占用 | 已发布的 .safetensors 与 GGUF 文件体积 |
| Suite B:KV Cache | 注意力 KV 缩放 | 覆盖 MHA、GQA、MQA 与 MLA 的精确张量几何尺寸 |
| Suite C / N:解码速度 | 推理吞吐量与 TTFT | Apple Silicon、消费级 GPU 及数据中心 GPU 上的物理实测 |
| Suite D:微调显存 | 训练峰值显存 | ZeRO-3、LoRA、QLoRA 与全量微调的性能分析器轨迹 |
| Suite E:端到端推理显存 | 总服务显存分配 | torch.cuda.max_memory_allocated 与推理引擎显存遥测 |
| Suite T:训练速度 | 单步耗时与 tok/s | 在 torchtune、HF FSDP、DeepSpeed 与 NeMo 上的实测运行 |
每个测试套件均按区间通过率、中位误差、几何平均倍比误差以及系统性偏差进行评分。当前活跃套件的代表性基准核验:
| 用例 ID | 配置 | 实测值 | 预测值 |
|---|---|---|---|
A1 | Llama-3-8B FP16 safetensors 权重 | 14.97 GB | 14.96 GB |
A2 | Qwen2.5-32B Q4_K_M GGUF 权重 | 18.49 GB | 18.18 GB |
E2 | Qwen2.5-32B Q4_K_M 端到端 16k 上下文 | 24.00 GB | 23.20 GB |
C3 | LLaMA-7B Q4_0 于 M2 Ultra 76 核,llama.cpp | 94.3 tok/s | 96.0 tok/s |
D1 | Llama-3.1-405B FP8,8x H200 SXM,TensorRT-LLM TP=8 | 56.0 tok/s | 55.0 tok/s |
显存容量预测的中位误差低于 1%,因为张量维度、KV 块分页、优化器状态和驱动上下文均遵循确定性的物理边界。
吞吐量与训练速度估算的方差相对较大(通常为 14% 至 24%),主要受主机 CPU 调度抖动、功耗与温度降频、后台 PCIe 争抢以及未公开运行时参数的影响。
如需将计算器以编程方式集成至 CI/CD 流水线或自主智能体,请参阅 REST API 文档 与 MCP 服务器文档。
最后更新:2026年11月17日