AMD RX 9060 XT (16GB)

AMD RX 9060 XT (16GB) 提供 16 GB 显存/内存与 320 GB/s 带宽,支持通过 ROCm 与 Vulkan 加速进行本地推理。

总显存

16 GB

可用显存上限

16 GB

显存带宽

320 GB/s

最大推理模型级别

14B 模型 (Q4)

热设计功耗

180W

显存占用随上下文长度变化曲线

随上下文长度增长的显存需求评估。当曲线超过参考线时将导致显存不足(OOM)。

SmolVLM2 256M Video Instruct (0.26B)SmolLM3 3B (3B)Falcon3-10B (10B)Mixtral-8x7B-v0.1 (46.7B (7B active))

量化精度:

AMD RX 9060 XT (16GB) 最佳运行大模型与速度矩阵

主流开源大模型在 AMD RX 9060 XT (16GB) 上的推理速度、显存兼容性与生成吞吐表现。

排序:

上下文长度:

KV 缓存:

显卡数量:

排名模型参数量量化精度预估 TPSTTFT可运行

#51

Inkling 2 Small

2B (17B active)

INT4
Q8
FP16

26 tok/s

15 tok/s

8 tok/s

~1.7s

~1.8s

~1.8s

#55

Qwen 3.8 27B

27B

INT4

15 tok/s

~3.3s

#99

Qwen3.5-27B

27B

INT4

15 tok/s

~3.3s

#115

Phi-4 Reasoning Plus

14B

INT4

22 tok/s

~1.5s

#116

MiMo V2 Flash

15B (309B active)

INT4

1 tok/s

~33.7s

#122

Gemma 4 26B A4B

25.2B (3.8B active)

INT4

70 tok/s

~558 ms

#129

Qwen3.5-9B

9B

INT4
Q8

44 tok/s

26 tok/s

~973 ms

~988 ms

#141

Gemma 4 12B

11.95B

INT4
Q8

25 tok/s

15 tok/s

~1.3s

~1.5s

#145

Qwen3.5-4B

4B

INT4
Q8
FP16

81 tok/s

53 tok/s

30 tok/s

~450 ms

~457 ms

~472 ms

#150

GPT-OSS 20B

21B (3.6B active)

INT4

31 tok/s

~582 ms

#153

K2 Horizon 7B

7B

INT4
Q8
FP16

54 tok/s

33 tok/s

16 tok/s

~763 ms

~775 ms

~936 ms

#157

NVIDIA Nemotron 3 Nano 30B-A3B

3.5B (30B active)

INT4
Q8
FP16

14 tok/s

8 tok/s

4 tok/s

~3.1s

~3.1s

~3.2s

#164

Granite 4.2 8B

8B

INT4
Q8

48 tok/s

29 tok/s

~867 ms

~880 ms

#167

Gemma 4 E4B

8B

INT4
Q8

48 tok/s

29 tok/s

~867 ms

~880 ms

#172

Phi-4

14B

INT4
Q8

30 tok/s

16 tok/s

~1.5s

~1.8s

#173

Gemma 3 27B

27B

INT4

15 tok/s

~3.3s

#185

DeepSeek-R1 14B

14B

INT4
Q8

31 tok/s

16 tok/s

~1.5s

~1.8s

#189

Ministral 3 14B

14B

INT4

22 tok/s

~1.5s

#192

Gemma 3 12B

12B

INT4
Q8

34 tok/s

19 tok/s

~1.3s

~1.4s

#194

Mistral-Small-2501

24B

INT4

18 tok/s

~2.8s

推理能力评估

不同量化精度下可运行的最大模型参数级别。

上下文长度:

4位量化

Q4

14B 模型

8位精度

Q8

8B 模型

16位全精度

FP16

3B 模型

微调能力评估

本地模型训练与适配器微调支持能力。

微调上下文:

QLoRA

4-bit

14B 模型

LoRA

16-bit

8B 模型

全参数微调

1B 模型

负载与选型建议

AMD RX 9060 XT (16GB) 上的最佳量化精度与运行规格建议。

最佳推理区间

非常适合 8B 模型长上下文推理(32k+)。14B 模型在 Q4 精度及标准上下文下也能流畅运行。

显存带宽与推理速率

具备 320 GB/s 聚合带宽,单批次推理处于显存带宽受限模式。8B Q4 模型预估生成速度约 71 tok/s,70B Q4 模型预估生成速度约 8 tok/s。

常见问题解答