Radeon PRO W7500 (8GB)

Radeon PRO W7500 (8GB) 提供 8 GB 显存/内存与 176 GB/s 带宽,支持通过 ROCm 与 Vulkan 加速进行本地推理。

总显存

8 GB

可用显存上限

8 GB

显存带宽

176 GB/s

最大推理模型级别

8B 模型 (Q4)

热设计功耗

70W

显存占用随上下文长度变化曲线

随上下文长度增长的显存需求评估。当曲线超过参考线时将导致显存不足(OOM)。

SmolVLM2 256M Video Instruct (0.26B)SDXL Turbo (2.56B)Mistral-7B-Instruct-v0.2 (7.3B)ERNIE-4.5-21B-A3B-Base (21B (3B active))

量化精度:

Radeon PRO W7500 (8GB) 最佳运行大模型与速度矩阵

主流开源大模型在 Radeon PRO W7500 (8GB) 上的推理速度、显存兼容性与生成吞吐表现。

排序:

上下文长度:

KV 缓存:

显卡数量:

排名模型参数量量化精度预估 TPSTTFT可运行

#51

Inkling 2 Small

2B (17B active)

INT4
Q8
FP16

15 tok/s

8 tok/s

4 tok/s

~8.5s

~8.6s

~8.7s

#129

Qwen3.5-9B

9B

INT4

26 tok/s

~4.7s

#145

Qwen3.5-4B

4B

INT4
Q8

51 tok/s

32 tok/s

~2.2s

~2.2s

#153

K2 Horizon 7B

7B

INT4

32 tok/s

~3.7s

#157

NVIDIA Nemotron 3 Nano 30B-A3B

3.5B (30B active)

INT4
Q8

8 tok/s

4 tok/s

~15.0s

~16.4s

#164

Granite 4.2 8B

8B

INT4

29 tok/s

~4.2s

#167

Gemma 4 E4B

8B

INT4

29 tok/s

~4.2s

#192

Gemma 3 12B

12B

INT4

18 tok/s

~7.4s

#196

Ministral 3 8B

8B

INT4

18 tok/s

~5.0s

#197

OLMo 3 7B Think

7B

INT4

21 tok/s

~4.1s

#198

Qwen3.5-2B

2B

INT4
Q8
FP16

83 tok/s

56 tok/s

32 tok/s

~1.2s

~1.2s

~1.2s

#199

MiniCPM5-2B

2B

INT4
Q8
FP16

83 tok/s

56 tok/s

32 tok/s

~1.2s

~1.2s

~1.2s

#205

Gemma 4 E2B

5.1B

INT4
Q8

42 tok/s

24 tok/s

~2.7s

~3.0s

#209

DeepSeek-R1 8B

8B

INT4

30 tok/s

~4.2s

#211

Qwen3-4B

4B

INT4
Q8

51 tok/s

32 tok/s

~2.2s

~2.2s

#212

Ministral 3 3B

3B

INT4
Q8

40 tok/s

30 tok/s

~1.7s

~1.7s

#214

Qwen3.5-0.8B

0.8B

INT4
Q8
FP16

144 tok/s

107 tok/s

68 tok/s

~473 ms

~475 ms

~481 ms

#215

LFM3 1.7B

1.7B

INT4
Q8
FP16

93 tok/s

63 tok/s

37 tok/s

~991 ms

~996 ms

~1.0s

#217

Qwen3-8B

8B

INT4

29 tok/s

~4.2s

#218

Gemma 3 4B

4B

INT4
Q8

51 tok/s

32 tok/s

~2.2s

~2.2s

推理能力评估

不同量化精度下可运行的最大模型参数级别。

上下文长度:

4位量化

Q4

8B 模型

8位精度

Q8

3B 模型

16位全精度

FP16

< 1B 模型

微调能力评估

本地模型训练与适配器微调支持能力。

微调上下文:

QLoRA

4-bit

8B 模型

LoRA

16-bit

3B 模型

全参数微调

< 1B 模型

负载与选型建议

Radeon PRO W7500 (8GB) 上的最佳量化精度与运行规格建议。

最佳推理区间

推荐以 FP16/Q8 精度运行 1B 至 3B 轻量级模型,或在 4-bit 量化下运行 7B/8B 模型。

显存带宽与推理速率

具备 176 GB/s 聚合带宽,单批次推理处于显存带宽受限模式。8B Q4 模型预估生成速度约 39 tok/s,70B Q4 模型预估生成速度约 5 tok/s。

常见问题解答