显存计算器技术文档

ApX 显存计算器用于在采购或调配硬件前,精准建模 GPU 显存分配、生成吞吐量、首字延迟及训练步长耗时。GPU 总显存占用并非仅由量化后的权重大小决定:服务进程会预留可用显存上限,为词嵌入和词表小于 256,000 的非绑定输出头保留 16 位精度,分配驱动上下文和 CUDA Graph 捕获池,并将剩余显存划分为固定大小的 KV 分页。

除单机评估外,基于约束的硬件配置规划器还会根据目标 TTFT、单用户 tok/s、显存余量及每小时预算,搜索 GPU 型号、节点数量、量化格式、张量并行度和流水线并行度组合。违反物理限制或 SLA 约束的候选配置会附带明确的淘汰原因返回。

每次运行都会输出运行时诊断建议,涵盖预填充饥饿、PCIe All-Reduce 瓶颈、FP8 软件解包、KV 池抢占拐点以及流水线首尾阶段不对称性风险。

支持的工作负载

工作负载覆盖模型核心容量驱动因素输出指标
自回归文本与多模态推理Dense、MoE、状态空间模型 (SSM)、视觉-语言、音频-语言权重精度、KV Cache 精度、上下文长度、批大小、并发数、推理引擎总显存与单卡显存、解码 tok/s、TTFT、P50/P95/P99 TTFT、可持续 QPS
非生成式单次前向推理Embedding 向量模型、Reranking 重排模型、判别模型序列长度、批大小、权重精度零 KV Cache 显存占用、前向延迟、samples/s
模型微调全量微调 (Full Fine-Tuning)、LoRA、QLoRA优化器类型、ZeRO 阶段、微批大小、梯度累积步数、序列长度、LoRA 秩峰值显存、训练 tok/s、samples/s、单步耗时、Tensor Core MFU
图像与视频扩散生成DiT 与 UNet 主干网络,涵盖推理与微调分辨率、帧数、去噪步数、引导系数 (guidance scale)、VAE 分块解码、编码器卸载峰值显存、总生成耗时、单步耗时、iterations/s、潜空间 patch token 数

硬件与平台类别

平台类别代表性硬件显存与驱动特性
NVIDIA 数据中心卡H100、H200、B200、A100、L40S、L4专用 HBM 或 ECC GDDR6 显存、单卡独立服务进程、NCCL 集合通信支持
NVIDIA 消费级显卡RTX 5090、4090、3090、工作站 RTX Ada 系列专用 GDDR6X 或 GDDR7 显存,多卡扩展受限于 PCIe 带宽
AMD 数据中心卡Instinct MI300X、MI325X、MI350X、MI250大容量 HBM3/HBM3e 显存、ROCm / rocBLAS 软件栈、xGMI 互联
AMD 消费级显卡与 APURadeon RX 7900 XTX、RX 9070、Radeon AI Pro、Ryzen AI独立 GDDR6 显存或与系统内存共享的统一 LPDDR5X 内存
Apple Silicon 统一内存M1 至 M5 Pro、Max 及 UltraSoC 统一内存默认上限为总内存的 75%,基于 Metal / MPS 后端

输入自定义硬件参数时,请填写稠密 FP16 或 BF16 Tensor Core TFLOPS,而非 FP32 向量算力或 2:4 稀疏宣传峰值。

模型架构与量化精度

计算器将静态常驻参数显存与动态单 token 计算量及注意力状态分离建模。权重精度、非量化投影层规则以及注意力几何结构共同决定了最低显存门槛与生成每个 token 所需的带宽。

稠密 Transformer、专家混合 (MoE) 与多模态编码器

专家混合 (MoE) 模型将所有路由专家和共享专家常驻于显存中,但每个 token 仅流式读取激活的专家。随着批大小增大,并发 token 每步会激活更多不同的专家,使 MoE 解码从激活专家带宽受限平滑过渡到常驻权重带宽受限。

在权重量化下,词嵌入、词表小于 256,000 的非绑定 lm_head 输出投影以及多模态视觉/音频编码器仍保留 16 位精度(<mBytes/>):

针对自定义或魔改架构,您可以直接覆盖层数、隐藏层维度、FFN 中间层大小、词表大小、Query 头数及 KV 头数。

注意力结构与混合状态空间层

在长上下文或高并发场景下,KV Cache 显存占用往往超过模型权重本身。对于多头注意力 (MHA)、分组查询注意力 (GQA) 和多查询注意力 (MQA),单 token 单层的 KV 显存随 KV 头数 <mNkv/>、单头维度 <mDhead/> 及 KV 精度字节数 <mBkv/> 线性增长:

多头潜在注意力 (MLA) 将 Key 和 Value 投影压缩为维度 <mDc/> 的联合潜在向量加上维度 <mDr/> 的解耦旋转位置 Key;而滑动窗口注意力 (SWA) 将窗口层的缓存上限限制在窗口长度 <mW/>:

DeepSeek 稀疏注意力 (DSA) 将网络层划分为滑动窗口、4:1 压缩和 128:1 压缩三类层级并附带稀疏索引 Key <mDidx/>;压缩稀疏注意力 2 (CSA2) 仅在 <mLsrc/> 个源层保留潜在 KV 状态,下游层仅存储索引 Key。混合架构模型则按全注意力层比例 <mFfull/> 缩放 KV 增长:

64 层、8192 隐藏维度模型下,单用户标准与分组 FP16 KV Cache 显存占用

上下文长度MHAGQA 8:1MQA 64:1
4k8 GB1 GB0.13 GB
16k32 GB4 GB0.5 GB
32k64 GB8 GB1 GB
64k128 GB16 GB2 GB
128k256 GB32 GB4 GB

64 层模型下,单用户压缩与滑动窗口 FP16 KV Cache 显存占用

上下文长度MLASWA 4kDSACSA2
4k0.28 GB1 GB0.05 GB0.02 GB
16k1.13 GB1 GB0.16 GB0.08 GB
32k2.25 GB1 GB0.32 GB0.16 GB
64k4.5 GB1 GB0.63 GB0.33 GB
128k9 GB1 GB1.25 GB0.65 GB
注意力机制缩写KV 存储几何结构容量影响
多头注意力 (Multi-Head Attention)MHA每个 Query 头对应独立的完整 K 和 V 向量KV 增长最快,长上下文下极易耗尽显存
分组查询注意力 (Grouped-Query Attention)GQA多个 Query 头组内共享 K 和 V 头KV Cache 通常比 MHA 小 4 倍至 8 倍
多查询注意力 (Multi-Query Attention)MQA所有 Query 头共享单个 K 和 V 头单头 KV 占用最小
多头潜在注意力 (Multi-Head Latent Attention)MLA联合低秩压缩的 KV 潜在向量相比 MHA 减少约 20 倍至 25 倍 KV Cache
DeepSeek 稀疏注意力DSA三层混合:滑动窗口、4:1 压缩及 128:1 压缩层配合稀疏索引 Key超长上下文下呈亚线性 KV 扩展
压缩稀疏注意力 2CSA2跨层共享源层潜在 KV,下游层仅保留稀疏索引 Key跨层复用源层 KV 状态,实现极小多层占用
滑动窗口注意力 (Sliding Window Attention)SWA将窗口层的缓存上限固定在滑动窗口长度防止 KV 随上下文无限增长
线性 / 全注意力混合架构Hybrid将循环线性注意力层与周期性全注意力层混合KV Cache 按全注意力层比例等比缩减

纯状态空间模型(如 Mamba SSM)使用固定大小的循环状态缓冲区 <mSsm/> 替代注意力 KV Cache,使显存占用与序列长度无关。

权重与 KV Cache 量化格式

权重精度与 KV Cache 精度可独立配置。实际执行速度取决于所选 GPU 是否具备对应格式的原生 Tensor Core 或 Matrix Core 硬件加速:

格式每参数字节数适用对象硬件与执行行为
FP324.00权重、主权重全精度基准
FP16, BF162.00权重、KV、激活值标准 16 位 Tensor / Matrix Core 速率
FP81.00权重、KV CacheAda、Hopper、Blackwell、CDNA3、CDNA4、RDNA4 支持原生 2x 速率;其余架构软件模拟
NVFP60.75权重6 位微缩放浮点格式
NVFP40.50权重Blackwell 与 CDNA4 支持原生 4x Tensor Core 速率
INT8, Q81.00权重、KV CacheW8A16 在 GEMM 前解包至 16 位寄存器
INT4 AWQ/GPTQ0.50权重W4A16 每步反量化为 16 位计算
GGUF Q6_K 至 Q2_K0.8125 至 0.32GGUF 权重分块 K-quant 量化,在 llama.cpp 中包含词嵌入量化
Q4 KV Cache0.50KV Cache4 位 KV 存储以最大化上下文并发数
  • 旧架构上的 FP8 软件模拟:缺乏原生 8 位浮点 Tensor Core 的 GPU(如 NVIDIA Ampere 和 Apple Silicon)会在运行时将 FP8 权重解包为 16 位,从而降低生成速度。
  • 纯权重 INT8 与 INT4 开销:INT8 和 INT4 在低批大小下能减少显存带宽占用,但每步都会引入反量化开销,在 Eager PyTorch 模式下尤为明显。
  • 架构专属内核:Hopper GPU 使用 FlashAttention-3 路径执行分页注意力;而 GeForce Ampere RTX 30xx 显卡在训练时采用 FP32 累加梯度,有效算力仅为规格表 FP16 累加峰值的一半。

显存分配与开销分桶

所有工作负载都将可用设备显存划分为静态共享分配和动态单请求/单步缓冲池。计算器在评估显存是否充足前,会完整计入张量权重、KV 分页、优化器状态、激活峰值以及运行时驱动预留。

推理权重、分页 KV Cache、激活值与 CUDA Graph

推理显存分为静态共享显存和单用户动态显存。启用前缀缓存 (Prefix Caching) 时,共享系统提示词 token <mShared/> 在 <mLayers/> 层中仅存储一份,而各用户独有 token <mUnique/> 随活跃用户数 <mUsers/> 线性扩展:

前缀共享按运行时对齐至 16 或 32 token 的 KV 分页边界,未对齐的尾部 token 仍不共享。

物理显存划分为可用预算池、静态共享占用与动态请求分配

物理设备显存经由运行时上限切分为可用预算,再划分为静态共享显存与动态请求池。

显存分桶作用域容量计算行为
基础 / 专家模型权重静态共享Transformer 层、未量化词嵌入以及多模态编码塔
草稿模型权重静态共享启用投机采样时常驻显存的草稿模型
KV Cache单用户动态每个活跃请求流的注意力状态,或按运行时上限预分配的完整 KV 池
激活值动态在分块预填充下受 256 至 16,384 token 分块预算约束;否则随完整提示词长度缩放
Logits 缓冲区动态按最终 token 或完整预填充序列大小分配的输出词表投影
CUDA Graph 桶静态共享在 Graph 捕获模式下为不同批大小桶预留的捕获图内存池

实例说明:在单张 80 GB H100 上使用 vLLM 部署 70B FP8 模型时,按 70B 乘以 1 字节估算看似还剩 10 GB 空间。实际上,vLLM 将可用显存上限设为 92%(73.6 GB),而未量化的 16 位词嵌入、lm_head 权重、驱动上下文以及 CUDA Graph 捕获池占用了大量空间,留给 32k 上下文并发请求的 KV 块余量非常有限。可在 显存计算器 中直接查看此配置。

优化器状态、梯度、适配器与训练激活值

  • 全量微调:在混合精度下同时存储模型权重、全量梯度、优化器状态及 FP32 主权重。对 <mP/> 个参数使用 32 位 AdamW 时,不含激活值的静态训练状态总计 <m16p/> 字节;纯 BF16 下可降至 <m6p/> 字节,使用 8 位优化器状态则为 <m8p/> 字节。
  • LoRA 与 QLoRA:LoRA 冻结 16 位基础权重并训练秩为 r 的适配器 <mPadapter/>,仅对 <mPadapter/> 分配梯度与优化器状态。QLoRA 将冻结的 Transformer 主体压缩至 4 位,并增加用于实时反量化的 QLoRA 缓冲区。
  • 梯度检查点与损失内核:梯度检查点 (Gradient Checkpointing) 在反向传播时逐层重计算激活值以节省显存。分块交叉熵损失 (Chunked Cross-Entropy Loss) 避免在整个微批上物化完整的 FP32 词表 logits。
优化器状态存储主权重显存权衡
AdamW32 位一阶矩与二阶矩混合精度 FP32 副本显存需求最高;基准收敛表现
8 位优化器8 位量化状态混合精度 FP32 副本一阶与二阶矩显存减少 4 倍
分页优化器8 位或 32 位状态显存紧张时换出至主机内存吸收激活值峰值波动而不发生 OOM
纯 BF16 训练16 位状态无省去 FP32 主权重并将状态精度减半
SGD32 位动量混合精度 FP32 副本仅需单个状态张量而非两个
Adafactor分解的行与列累加器混合精度 FP32 副本亚线性二阶矩存储开销

实例说明:在单张 80 GB H100 上使用 vLLM 部署 70B FP8 模型时,按 70B 乘以 1 字节估算看似还剩 10 GB 空间。实际上,vLLM 将可用显存上限设为 92%(73.6 GB),而未量化的 16 位词嵌入、lm_head 权重、驱动上下文以及 CUDA Graph 捕获池占用了大量空间,留给 32k 上下文并发请求的 KV 块余量非常有限。可在 显存计算器 中直接查看此配置。

DiT 主干权重、文本编码器、潜空间 Patch 与 VAE 工作区

扩散模型显存追踪 DiT 主干权重、16 位文本编码器权重、潜空间激活值以及 VAE 解码工作区。Patch 注意力显存随 2D 或 3D 潜空间 patch token 数 <mSpatches/> 缩放,由宽度 <mW/>、高度 <mH/> 和帧数 <mT/> 通过 <mFs/>、<mPs/>、<mPt/> 及视频时的 <mFt/> (<mTgt1/>) 计算得出:

当无分类器引导 guidance_scale > 1.0 时,有效批激活值翻倍。在顺序 CPU 卸载模式下,峰值显存从所有组件之和降至文本编码器或 DiT 主干的最大值加上活跃潜空间与 VAE 工作区。VAE 分块 (Tiling) 限制高分辨率图像和视频片段的立体解码显存。

细粒度驱动上下文、BLAS 工作区与分配器保留

每个活跃的 GPU 进程在开始服务前都会预留非张量显存。在多卡节点上,这些预留按进程成倍增加,每张卡消耗 0.5 GB 至数 GB 不等。

子分桶厂商软件栈标识物理用途
驱动上下文CUDA, ROCm, Metal Driver Context单卡页表、命令队列、虚拟地址空间
BLAS 工作区cuBLAS, rocBLAS, MPS Workspaces预分配的 GEMM 矩阵乘临时缓冲区
分配器保留Allocator Retention, Unified Allocator Retention防止操作系统内存页抖动的缓存池余量
算子工作区Operator Workspaces归一化、RoPE 与注意力算子的临时缓冲区

实例说明:在单张 80 GB H100 上使用 vLLM 部署 70B FP8 模型时,按 70B 乘以 1 字节估算看似还剩 10 GB 空间。实际上,vLLM 将可用显存上限设为 92%(73.6 GB),而未量化的 16 位词嵌入、lm_head 权重、驱动上下文以及 CUDA Graph 捕获池占用了大量空间,留给 32k 上下文并发请求的 KV 块余量非常有限。可在 显存计算器 中直接查看此配置。

运行时特性与框架预设

推理引擎、扩散管线和训练框架通过共享的运行时特性进行建模:调度模式、KV 分页策略、预填充块预算、可用显存上限、前缀缓存以及进程拓扑。框架预设会为这些特性应用一组命名默认值,且任何单个特性都可逐项覆盖而无需脱离预设。

框架预设映射到共享正交运行时特性

框架预设(vLLM、SGLang、TensorRT-LLM、Ollama、HF Transformers)映射到共享运行时特性:CUDA Graphs、分页 KV + 前缀缓存、分块预填充以及 Eager / 未分页。

推理服务引擎

引擎调度方式预填充行为KV 分页可用显存策略前缀缓存与进程模型
vLLMCUDA Graphs按 GPU 显存档位分块预填充(2,048、8,192 或 16,384 token)16-token 块总显存的 92%每卡独立工作进程;开启块哈希前缀缓存
SGLangCUDA Graphs分块预填充分页显存池88% 静态显存比例每卡独立工作进程;RadixAttention 树状前缀缓存
TensorRT-LLM捕获引擎 (Captured engine)默认关闭分块预填充;拒绝超过 8,192 max_num_tokens 的提示词32-token 块加载权重后剩余显存的 90%每卡独立工作进程;开启块复用
llama.cppCUDA Graphs512-token 微批统一上下文池全部可用显存共享进程;输入 tok_embd 保留在主机内存中
OllamaCUDA Graphs512-token 微批23 GiB 以下默认 4k,23+ GiB 为 32k,47+ GiB 为 256k全部可用显存共享进程;默认单请求并发
HF TransformersEager PyTorch单次前向处理完整提示词未分页 DynamicCache全部可用显存分层切分共享进程;静态批处理
通用 (Generic)按硬件推断按硬件推断按硬件推断全部可用显存消费级/Metal 共享进程;数据中心卡每卡独立进程

当运行时预设设为 Auto 时,对于 Apple Silicon 或单张消费级显卡上的 GGUF 量化,计算器会选择 llama.cpp;对于单张 NVIDIA 消费级显卡上的标准量化,选择 Ollama;对于数据中心 GPU 或多卡 NVIDIA 消费级平台,则选择 vLLM。

扩散执行引擎

引擎执行策略显存策略自动选择规则
Diffusers Pipeline基于 PyTorch SDPA 的顺序管线PyTorch 缓存分配器;按子模块顺序 CPU 卸载24 GB 至 47 GB 消费级显卡及微调
ComfyUI Node Engine统一节点执行图节点级动态权重交换;跨阶段零残留显存24 GB 以下显存的消费级显卡
TensorRT Diffusion结合静态 FMHA 的捕获 CUDA Graphs95% 可用显存比例;异步多流 VAE 解码数据中心 GPU 或 48 GB+ 显卡

实例说明:在单张 80 GB H100 上使用 vLLM 部署 70B FP8 模型时,按 70B 乘以 1 字节估算看似还剩 10 GB 空间。实际上,vLLM 将可用显存上限设为 92%(73.6 GB),而未量化的 16 位词嵌入、lm_head 权重、驱动上下文以及 CUDA Graph 捕获池占用了大量空间,留给 32k 上下文并发请求的 KV 块余量非常有限。可在 显存计算器 中直接查看此配置。

微调框架

框架注意力与损失函数检查点与序列打包默认优化器与精度自动选择规则
HF Transformers + PEFTPyTorch SDPA;完整 FP32 损失 logits关闭检查点;动态填充32 位 AdamW;QLoRA 下保持 16 位词嵌入单卡消费级全量微调
Unsloth融合 Triton 内核;分块交叉熵主机卸载检查点;开启序列打包分页 8 位优化器单卡 LoRA 与 QLoRA
torchtuneFlash / SDPA;线性交叉熵损失开启激活检查点;关闭打包纯 BF16 权重与优化器状态数据中心全量微调及多卡/多节点训练

在 <mNdp/> 张数据并行 GPU 上,DeepSpeed ZeRO Stage 1 将优化器状态除以 <mNdp/>;ZeRO Stage 2 将优化器状态和梯度除以 <mNdp/>;而 ZeRO Stage 3 或 PyTorch FSDP 则将参数、梯度、优化器状态及检查点激活边界均除以 <mNdp/>。

执行模式、预填充预算与显存策略覆盖

控制项可选项实际影响
执行模式Graph 捕获 vs. 动态 EagerGraph 捕获可消除 Python/CPU 调度开销,代价是占用静态 CUDA Graph 池显存
预填充模式分块 256 至 16,384 token,或完整序列分块可限制预填充激活值峰值,防止长提示词阻塞活跃的解码流
GPU 显存预留比例0.50 至 0.98设定引擎在拒绝新请求前为权重与 KV 块池保留的显存比例
前缀缓存开启或关闭为共享系统提示词复用 KV 块,降低单用户 KV 增长并缩短 TTFT
连续批处理连续 vs. 静态迭代级调度可显著提升非均匀请求长度下的总吞吐量
静态显存预分配按需分配 vs. 预分配比例模拟启动时即一次性占用完整 KV 显存池的推理引擎

性能建模、屋顶线动态与 SLA 拐点

吞吐量与延迟遵循物理硬件屋顶线 (Roofline) 及运行时调度行为。性能模型涵盖单流解码速度、提示词预填充延迟以及并发 KV 池接近饱和时的尾部延迟悬崖。

带宽与算力屋顶线及首字时间 (TTFT)

自回归解码吞吐量受限于硬件显存带宽 <mBw/> 与稠密算力 <mFlops/>,并由经过实测校准的芯片、量化及批效率系数 <mEtaBw/> 和 <mEtaCompute/> 进行缩放:

随着执行从显存带宽受限转向计算受限,归一化解码吞吐量随批大小的变化

KV 池利用率P50 TTFT 倍率P99 TTFT 倍率
20%1x1.2x
40%1.1x1.5x
60%1.3x2.1x
80%1.7x3.2x
95%2.4x5.1x
100%3.1x7.4x
110%6.8x18.5x

解码从显存带宽受限过渡到算力受限的转折点发生在算术强度临界批大小 <mBstar/>:

对于专家混合 (MoE) 模型,批大小 <mB/> 的增加会提高每步激活的不同路由专家数量,使解码带宽需求从激活专家权重平滑过渡到全部常驻专家池。

长上下文下的提示词预填充在线性投影与二次方复杂度 <mSseq2/> 的自注意力上均受算力限制:

对于扩散 Transformer,每个去噪步结合了线性主干 FLOPs <mDitLinear/> 与二次方复杂度 patch 注意力 <mDitAttn/>。

有效带宽、算力利用率及调度开销均已在物理硬件基准上完成校准,详见 精度评分卡。

并发扩展、TTFT 延迟悬崖与安全工作拐点

剩余可用显存被划分为固定大小的 KV 块(如 vLLM 为 16 token,TensorRT-LLM 为 32 token),每个用户独有的非共享 token 向上取整至整块。当请求负载接近理论服务容量时,连续批处理的排队延迟急剧上升,并在安全工作拐点处引发尾部延迟悬崖;可持续 QPS 必须低于该饱和拐点。

安全工作拐点前后,相对 TTFT 延迟倍率随 KV 块池利用率的变化

KV 池利用率P50 TTFT 倍率P99 TTFT 倍率
20%1x1.2x
40%1.1x1.5x
60%1.3x2.1x
80%1.7x3.2x
95%2.4x5.1x
100%3.1x7.4x
110%6.8x18.5x

并发分析器跟踪分配器准入占用水位以评估中度与重度抢占风险,输出 P50、P95 和 P99 TTFT,并在未分块的长提示词阻塞活跃解码流时标记预填充饥饿警告。

顺序与块并行投机采样

顺序草稿方法使用较小的独立模型生成 <mGamma/> 个候选 token,再由目标模型并行验证。块并行草稿方法(如 DFlash、Medusa 和 Eagle)则在单次前向中直接提出一个 token 块。

两种方法都能提高低批大小下的解码速度,但常驻的草稿权重会压缩空闲 KV 块池,从而降低无抢占并发上限。

步耗时分解、Tensor Core MFU 与激活余量

训练单步延迟分为四个阶段:前向传播、包含梯度检查点重计算的反向传播、跨越 TP/PP/DP 组的集合通信以及包含主机卸载传输的优化器更新步。ZeRO Stage 3 和 FSDP 在 <mNdp/> 张设备上同时建模 All-Gather 参数与 Reduce-Scatter 梯度通信,而 ZeRO Stage 2 仅建模 Reduce-Scatter 梯度通信,并标记出通信受限的步骤。

在剩余激活余量内扫描 1 到 32 的微批大小,可绘制 Tensor Core MFU 饱和曲线,定位反向传播激活 OOM 前的最大安全微批,并计算达到目标全局批大小所需的梯度累积步数。

多卡并行、集群拓扑与卸载

多设备配置涵盖单机多卡工作站与跨节点集群,按张量并行、流水线并行、序列并行和数据并行进行切分。

张量、流水线、序列与数据并行

并行策略切分对象通信模式适用场景
张量并行 (TP)注意力头、MLP 矩阵、KV Cache每层执行 All-ReduceNVLink 或 xGMI 节点内追求最低单用户延迟
流水线并行 (PP)跨阶段切分模型层组阶段间点对点传递跨越 PCIe 链路或多节点部署
序列并行 (SP)DiT 中的 2D 与 3D 潜空间 patch tokenRing 或 Ulysses 注意力交换高分辨率图像与视频扩散生成
数据并行 (DP)独立副本或 ZeRO 分片推理无通信;训练执行 ZeRO 集合通信扩展总 QPS 或训练批大小

在 <mNpp/> 级流水线并行下,Stage 0 除分配到的层外还需存放输入词嵌入,而最末阶段需存放 lm_head。若仅按单卡平均显存规划集群,首尾外侧阶段会率先 OOM:

4 级流水线并行下,具备 128k 非绑定词表的 70B FP16 模型各阶段权重显存

阶段Transformer 层词嵌入 / lm_head
Stage 035 GB2 GB
Stage 135 GB0 GB
Stage 235 GB0 GB
Stage 335 GB2 GB

以 4 级流水线部署具备 128k 非绑定词表的 70B FP16 模型为例,中间阶段仅持有 35.0 GB 模型层,而 Stage 0 和 Stage 3 各持有 37.0 GB。仅按 35.5 GB 的均值估算会低估外侧阶段每卡 1.5 GB 的峰值需求。可在 显存计算器 中评估多卡切分方案。

节点内高速互联、跨节点网络与分离式服务

层级支持互联可行并行策略
高速互联NVLink Gen 2 至 Gen 6、NVLink Bridge、AMD Infinity Fabric xGMI、InfiniBand EDR 至 XDR张量并行、序列并行、FSDP / ZeRO-3
PCIePCIe 3.0、4.0 及 5.0 x16流水线并行、数据并行、低度张量并行
网络与外部链路Thunderbolt 4 与 5、1G 至 400G 以太网流水线并行或副本式数据并行

当张量并行、流水线并行阶段或 FSDP/ZeRO 副本跨越多个物理节点时,通信效率会根据跨节点跳数的精确比例在节点内高速互联与节点间网络之间混合计算。

多节点配置还会输出分离式预填充/解码 (Disaggregated Prefill/Decode) 网络预算,详细列出单请求 KV 传输量、所需链路带宽以及从 100G 以太网 到 800G InfiniBand / RoCE 的最低网卡线速要求。

TP、PP 与 DP/ZeRO 组在节点内高速互联与跨节点网络跳数间的分布

Node 0 与 Node 1 内部通过 NVLink 或 xGMI 运行节点内 TP 与 PP,而跨节点 PP、DP/ZeRO 及 KV 传输则经由 InfiniBand 或以太网。

权重、KV Cache、梯度与优化器卸载

卸载目标粒度性能影响
模型权重按层数或百分比卸载至系统内存 / NVMe;优先卸载 MoE 专家权重再卸载共享层将流式层权重读取从 HBM 转移至 PCIe / NVMe
KV Cache完整 KV 池卸载至系统内存每个 token 均需经 PCIe 传输注意力状态,大幅降低解码 tok/s
ZeRO 训练状态优化器状态、梯度及激活值卸载至 CPU / NVMe为优化器更新和反向传播增加 PCIe 传输延迟

实例说明:在单张 80 GB H100 上使用 vLLM 部署 70B FP8 模型时,按 70B 乘以 1 字节估算看似还剩 10 GB 空间。实际上,vLLM 将可用显存上限设为 92%(73.6 GB),而未量化的 16 位词嵌入、lm_head 权重、驱动上下文以及 CUDA Graph 捕获池占用了大量空间,留给 32k 上下文并发请求的 KV 块余量非常有限。可在 显存计算器 中直接查看此配置。

硬件校准与精度验证

所有预测结果持续通过物理硬件实测轨迹进行验证,实时测试用例与误差分布公布于 精度评分卡。

基准实测套件与评估指标

测试套件验证内容实测基准来源
Suite A:模型权重静态权重占用已发布的 .safetensors 与 GGUF 文件体积
Suite B:KV Cache注意力 KV 缩放覆盖 MHA、GQA、MQA 与 MLA 的精确张量几何尺寸
Suite C / N:解码速度推理吞吐量与 TTFTApple Silicon、消费级 GPU 及数据中心 GPU 上的物理实测
Suite D:微调显存训练峰值显存ZeRO-3、LoRA、QLoRA 与全量微调的性能分析器轨迹
Suite E:端到端推理显存总服务显存分配torch.cuda.max_memory_allocated 与推理引擎显存遥测
Suite T:训练速度单步耗时与 tok/s在 torchtune、HF FSDP、DeepSpeed 与 NeMo 上的实测运行

每个测试套件均按区间通过率、中位误差、几何平均倍比误差以及系统性偏差进行评分。当前活跃套件的代表性基准核验:

用例 ID配置实测值预测值
A1Llama-3-8B FP16 safetensors 权重14.97 GB14.96 GB
A2Qwen2.5-32B Q4_K_M GGUF 权重18.49 GB18.18 GB
E2Qwen2.5-32B Q4_K_M 端到端 16k 上下文24.00 GB23.20 GB
C3LLaMA-7B Q4_0 于 M2 Ultra 76 核,llama.cpp94.3 tok/s96.0 tok/s
D1Llama-3.1-405B FP8,8x H200 SXM,TensorRT-LLM TP=856.0 tok/s55.0 tok/s

建模边界与误差容限

显存容量预测的中位误差低于 1%,因为张量维度、KV 块分页、优化器状态和驱动上下文均遵循确定性的物理边界。

吞吐量与训练速度估算的方差相对较大(通常为 14% 至 24%),主要受主机 CPU 调度抖动、功耗与温度降频、后台 PCIe 争抢以及未公开运行时参数的影响。

如需将计算器以编程方式集成至 CI/CD 流水线或自主智能体,请参阅 REST API 文档 与 MCP 服务器文档。

最后更新:2026年11月17日