NVIDIA RTX PRO 4000 Blackwell SFF (24GB)

在计算器中配置

The NVIDIA RTX PRO 4000 Blackwell SFF (24GB) is equipped with 24 GB of dedicated VRAM and 432 GB/s memory bandwidth. It provides 100% addressable VRAM for CUDA and TensorRT-LLM runtimes, supporting full precision and quantized inference.

总显存

24 GB

可用显存上限

24 GB

显存带宽

432 GB/s

最大推理模型级别

32B Models (Q4)

热设计功耗

70W

显存占用随上下文长度变化曲线

随上下文增长模拟的显存需求。当曲线超过参考线时将导致显存不足（OOM）。

量化精度:

FP16

模型兼容性与生成速度矩阵

主流开源大模型的推理吞吐量与显存可行性模拟。

模型	参数量	量化精度	预估 TPS	TTFT
Llama 3.2 1B	1.2B	INT4	191 tok/s	~297 ms
Llama 3.2 1B	1.2B	Q8	143 tok/s	~298 ms
Llama 3.2 1B	1.2B	FP16	92 tok/s	~302 ms
Llama 3.2 3B	3.2B	INT4	110 tok/s	~731 ms
Llama 3.2 3B	3.2B	Q8	73 tok/s	~736 ms
Llama 3.2 3B	3.2B	FP16	41 tok/s	~746 ms
Mistral 7B	7.2B	INT4	61 tok/s	~1573 ms
Mistral 7B	7.2B	Q8	37 tok/s	~1584 ms
Mistral 7B	7.2B	FP16	-	-
Llama 3.1 8B	8.0B	INT4	56 tok/s	~1742 ms
Llama 3.1 8B	8.0B	Q8	32 tok/s	~1905 ms
Llama 3.1 8B	8.0B	FP16	-	-
Mistral Nemo 12B	12.2B	INT4	39 tok/s	~2636 ms
Mistral Nemo 12B	12.2B	Q8	-	-
Mistral Nemo 12B	12.2B	FP16	-	-
Qwen 2.5 14B	14.7B	INT4	31 tok/s	~3436 ms
Qwen 2.5 14B	14.7B	Q8	-	-
Qwen 2.5 14B	14.7B	FP16	-	-
DeepSeek R1 32B	32.5B	INT4	-	-
DeepSeek R1 32B	32.5B	Q8	-	-
DeepSeek R1 32B	32.5B	FP16	-	-
Llama 3.3 70B	70.6B	INT4	-	-
Qwen 2.5 72B	72.7B	INT4	-	-
DeepSeek V3 671B	671B (37B active)	INT4	-	-

需要评估自定义模型架构、CPU 内存卸载或分布式多节点集群？

进入完整显存计算器

推理可行性评估

不同量化精度下可运行的最大模型参数级别。

4位量化

32B Models

8位精度

14B Models

16位全精度

FP16

8B Models

微调可行性评估

本地模型训练与适配器微调支持能力。

微调上下文:

QLoRA

4-bit

32B Models

LoRA

16-bit

14B Models

全参数微调

3B Models

Workload Recommendations

Guidance for optimal precision and operational ceilings on NVIDIA RTX PRO 4000 Blackwell SFF (24GB).

Inference Sweet Spot

Optimized for 14B models at uncompressed or Q8 precision, and 32B models at Q4 with up to 32k context.

Bandwidth & Speed Profile

With 432 GB/s aggregate bandwidth, batch size 1 inference operates in a memory-bandwidth bound regime. Generates approximately 96 tok/s on an 8B Q4 model and 11 tok/s on a 70B Q4 model.