VRAM 计算器: NVIDIA GPU 与 Apple Silicon)

LLM 推理: 显存与性能计算器

推理

微调

选择模型

推理量化

推理时模型权重的精度。较低的精度使用更少的显存但可能会影响质量。

KV缓存量化

KV缓存精度。较低的精度可减少显存, 尤其适用于长序列。

硬件配置

单机 Rig

集群

Beta

设备 / GPU

选择GPU或自定义显存

GPU数量

并行推理的GPU数量

输入参数

批量大小:

对数刻度

1

每步同时处理的输入数 (影响吞吐量和延迟)

1

2

4

6

8

序列长度: 1,024

每个输入的最大token数; 影响KV缓存和激活 (也受注意力结构影响) 。

8K

16K

33K

66K

131K

并发用户数:

对数刻度

1

同时进行推理的用户数 (影响内存和每用户性能)

1

2

4

6

8

启用卸载到CPU/RAM或NVMe

推理模拟

(FP16 权重 / FP16 KV缓存) 于 16GB 自定义GPU

输入序列长度: 1,024 个token

配置模型和硬件以启用模拟