检查硬件配置

在处理大型语言模型时，了解您的系统配置是必要的。在尝试下载或运行模型之前，确认自己硬件的性能，包括显存（VRAM）和系统内存（RAM）非常重要，以确保具备运行特定模型所需的资源。

本节提供实用指导，说明如何在常用操作系统中查阅显卡（GPU）上可用的显存量和电脑上安装的总系统内存（RAM）。

查找您的GPU显存 (VRAM)

显存量通常是本地运行大型语言模型（LLM）最直接的限制因素。以下是检查方法：

在Windows上：

1. 任务管理器： 最简单的方法通常是通过任务管理器。

   • 右键点击任务栏，选择“任务管理器”，或按下 Ctrl+Shift+Esc。
   • 前往“性能”选项卡。
   • 在左侧面板中点击您的GPU（可能标记 (token)为GPU 0、GPU 1等）。如果您有多个GPU（例如，集成显卡和独立显卡），请确保选择独立显卡，它通常用于运行大型语言模型等繁重任务。
   • 查看底部附近的“专用GPU内存”。此值显示您的显存量。您通常会看到总容量和当前使用量。

2. DirectX诊断工具：

   • 按下 Win+R，输入 dxdiag，然后按回车。
   • 等待工具收集信息。
   • 前往“显示”选项卡（如果您有多个GPU，可能是“渲染”选项卡）。
   • 查找“显示内存 (VRAM)”或类似字段。请注意，这有时可能将显存与共享系统内存合并；任务管理器通常能提供更清晰的专用显存视图。

3. GPU制造商软件： 如果您有NVIDIA或AMD GPU，它们各自的控制面板（NVIDIA控制面板或AMD Radeon软件）通常会显示硬件信息，包括显存，通常在“系统信息”或类似部分。

在macOS上：

1. 关于本机： 这提供了一个快速概览。

   • 点击左上角的Apple菜单 ()。
   • 选择“关于本机”。
   • 在出现的窗口中，查找“图形”行。它通常会列出GPU型号和显存量（例如，“AMD Radeon Pro 5700 XT 16 GB”）。

2. 系统信息： 要查看更多细节：

   • 点击Apple菜单 () > “关于本机”。
   • 点击“系统报告...”按钮。
   • 在左侧边栏的“硬件”下，选择“图形/显示器”。
   • 右侧会显示您的GPU（或多个GPU）的详细信息，包括“VRAM（总量）”或“VRAM（动态，最大）”，具体取决于GPU类型（独立显卡或集成/统一内存）。对于Apple芯片的Mac（M1、M2、M3系列），这里列出的内存是CPU和GPU之间共享的统一内存，它实际上同时充当内存和显存。

在Linux上：

1. NVIDIA GPU (nvidia-smi)： 如果您有NVIDIA GPU并安装了适当的驱动程序，nvidia-smi命令是标准工具。

   • 打开终端窗口。
   • 输入 nvidia-smi 并按回车。
   • 查看输出的顶部部分。它会显示GPU名称和总内存（例如，“16384MiB”表示16GB显存）。它还会显示当前内存使用量。

   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA GeForce ...  On   | 00000000:01:00.0 Off |                  N/A |
   | 30%   40C    P8    15W / 350W |     10MiB / 16384MiB |      0%      Default |
   |                               |                      |                  N/A |
   +-------------------------------+----------------------+----------------------+
   ...
   

   nvidia-smi命令的示例输出，显示总显存为16384MiB（16GB）。

2. AMD GPU（radeontop 或 lspci + 系统信息）：

   • 要快速查看使用情况，您可以使用 radeontop（可能需要安装）。
   • 要识别显卡然后检查系统细节：使用 lspci | grep -i vga 或 lspci | grep -i display 来识别您的AMD GPU型号。
   • 您的发行版桌面环境中可用的系统监控工具或图形化系统信息实用程序（如GNOME系统监视器或KDE系统监视器）通常会在显示或硬件部分报告显存。如果安装了Mesa实用程序，glxinfo | grep "Video memory" 命令也可能有效。

3. 一般情况（lspci 和系统监视器）： lspci 命令结合大多数桌面环境中可用的图形系统监控工具（如Ubuntu/GNOME上的系统监视器）通常可以提供有关检测到的图形硬件的细节。

查找您的系统内存

系统内存用于加载操作系统、应用程序，如果显存 (VRAM)不足，还可能加载模型的部分或数据（尽管这会慢很多）。

在Windows上：

1. 任务管理器：

   • 打开任务管理器（Ctrl+Shift+Esc）。
   • 前往“性能”选项卡。
   • 点击“内存”。
   • 安装的总内存量醒目地显示在右上角（例如，“16.0 GB”）。

2. 系统信息：

   • 按下 Win+R，输入 msinfo32，然后按回车。
   • 在“系统摘要”中查找“已安装的物理内存 (RAM)”。

在macOS上：

1. 关于本机：

   • 点击Apple菜单 () > “关于本机”。
   • “内存”行直接显示已安装的内存（例如，“16 GB 2667 MHz DDR4”）。对于Apple芯片的Mac，这是统一内存的总量。

2. 系统信息：

   • 点击Apple菜单 () > “关于本机” > “系统报告...”．
   • 在“硬件”下，选择“内存”。它显示已安装的内存模块的细节和总量。

在Linux上：

1. free命令： 一个标准的命令行工具。

   • 打开终端。
   • 输入 free -h 并按回车。-h 选项以人类可读的格式显示数值（例如，GiB 表示Gibibytes）。
   • 查看“Mem:”行在“total”列下的数值。

   ~$ free -h
                 total        used        free      shared  buff/cache   available
   Mem:           31Gi       5.8Gi        18Gi       1.2Gi       7.4Gi        24Gi
   Swap:         2.0Gi          0B       2.0Gi
   

   free -h的示例输出，显示总系统内存约为31GiB。

2. htop或类似工具： 像htop这样的工具（通常需要通过sudo apt install htop或sudo yum install htop安装）提供更交互式的系统资源视图，包括通常显示在顶部的总内存。

3. 图形系统监视器： 大多数Linux桌面环境都包含一个图形系统监视器（例如，GNOME系统监视器、KSysGuard），它显示总内存，通常在“资源”或“系统”选项卡上。

遵循这些步骤，您便能迅速确认系统上可用的显存和内存。将这些配置与大型语言模型（LLM）的估算需求（使用本章前面讨论的方法）进行比较，将使您清楚地了解您的硬件是否适合有效运行该模型。请记住，除了内存，GPU的计算能力（与其型号和架构相关，如NVIDIA的CUDA核心或Tensor核心）也显著影响性能，尽管显存通常是您会遇到的第一个瓶颈。