NVIDIA RTX 5060 Ti (8GB)

在计算器中配置

The NVIDIA RTX 5060 Ti (8GB) is equipped with 8 GB of dedicated VRAM and 448 GB/s memory bandwidth. It provides 100% addressable VRAM for CUDA and TensorRT-LLM runtimes, supporting full precision and quantized inference.

总显存

8 GB

可用显存上限

8 GB

显存带宽

448 GB/s

最大推理模型级别

8B Models (Q4)

热设计功耗

180W

显存占用随上下文长度变化曲线

随上下文增长模拟的显存需求。当曲线超过参考线时将导致显存不足（OOM）。

量化精度:

FP16

模型兼容性与生成速度矩阵

主流开源大模型的推理吞吐量与显存可行性模拟。

模型	参数量	量化精度	预估 TPS	TTFT
Llama 3.2 1B	1.2B	INT4	191 tok/s	~297 ms
Llama 3.2 1B	1.2B	Q8	143 tok/s	~298 ms
Llama 3.2 1B	1.2B	FP16	92 tok/s	~302 ms
Llama 3.2 3B	3.2B	INT4	110 tok/s	~731 ms
Llama 3.2 3B	3.2B	Q8	73 tok/s	~736 ms
Llama 3.2 3B	3.2B	FP16	41 tok/s	~746 ms
Mistral 7B	7.2B	INT4	61 tok/s	~1573 ms
Mistral 7B	7.2B	Q8	-	-
Mistral 7B	7.2B	FP16	-	-
Llama 3.1 8B	8.0B	INT4	56 tok/s	~1742 ms
Llama 3.1 8B	8.0B	Q8	-	-
Llama 3.1 8B	8.0B	FP16	-	-
Mistral Nemo 12B	12.2B	INT4	39 tok/s	~2636 ms
Mistral Nemo 12B	12.2B	Q8	-	-
Mistral Nemo 12B	12.2B	FP16	-	-
Qwen 2.5 14B	14.7B	INT4	-	-
DeepSeek R1 32B	32.5B	INT4	-	-
Llama 3.3 70B	70.6B	INT4	-	-
Qwen 2.5 72B	72.7B	INT4	-	-
DeepSeek V3 671B	671B (37B active)	INT4	-	-

需要评估自定义模型架构、CPU 内存卸载或分布式多节点集群？

进入完整显存计算器

推理可行性评估

不同量化精度下可运行的最大模型参数级别。

4位量化

8B Models

8位精度

< 3B Models

16位全精度

FP16

< 1B Models

微调可行性评估

本地模型训练与适配器微调支持能力。

微调上下文:

QLoRA

4-bit

8B Models

LoRA

16-bit

3B Models

全参数微调

< 1B Models

Workload Recommendations

Guidance for optimal precision and operational ceilings on NVIDIA RTX 5060 Ti (8GB).

Inference Sweet Spot

Recommended for lightweight models (1B to 3B) at FP16/Q8, and 7B/8B models at aggressive 4-bit quantizations.

Bandwidth & Speed Profile

With 448 GB/s aggregate bandwidth, batch size 1 inference operates in a memory-bandwidth bound regime. Generates approximately 100 tok/s on an 8B Q4 model and 12 tok/s on a 70B Q4 model.