对于本地大型语言模型，操作系统（OS）是与CPU、RAM和GPU等硬件协同工作的重要部分。你将用来下载、管理和与LLM交互的软件工具需要与你的操作系统兼容。幸运的是，开发这些工具的社区通常致力于实现与最常见桌面操作系统的广泛兼容。
为本地运行LLM设计的多数常用工具都支持Windows、macOS和Linux。不过，它们的安装过程和有时性能特点会略有不同。让我们了解一下各主要平台的情况。
Windows
Windows是广泛使用的操作系统，本地LLM工具的开发者经常提供专用安装程序（.exe或.msi文件）来简化安装。
- 兼容性： Ollama和LM Studio等工具（我们稍后会讨论）对现代Windows版本（Windows 10和11）有很好的支持。
- GPU支持： 如果你有兼容的NVIDIA GPU，Windows通常通过NVIDIA的官方工具（如GeForce Experience）提供直接的驱动安装，这是GPU加速所需。所有工具中对LLM加速的AMD GPU支持不太常见，但正在改善。
- 命令行： 尽管有些工具提供图形界面，但另一些则依赖命令行。Windows有命令提示符和PowerShell，高级用户可能会使用适用于Linux的Windows子系统（WSL）。对于初学者，带有安装程序的工具通常会处理必要的配置。
macOS
macOS，特别是随着Apple Silicon（M1、M2、M3芯片）的出现，已成为本地运行LLM的适合平台。
- 兼容性： 工具经常提供原生的macOS应用程序（.dmg文件或可安装包）。例如，Ollama和LM Studio在macOS上运行良好。
- 硬件集成： Apple在M系列芯片上采用的统一内存架构对LLM特别有益，它允许CPU和GPU高效共享内存。这通常即使没有独立的NVIDIA GPU也能带来良好性能。
- 命令行： macOS中的终端应用程序提供类似Unix的环境，这是许多开发任务的标准配置，包括与命令行LLM工具的交互。
Linux
Linux因其开源特性和灵活性，在机器学习 (machine learning)和开发社区中是常用选择。
- 兼容性： 大多数LLM工具对Linux提供良好的支持。安装可能涉及下载可执行文件、使用包管理器（如Debian/Ubuntu的
apt或Fedora的yum/dnf），或者对于llama.cpp等更高级的工具，则需要从源代码编译。
- GPU支持： 在Linux上设置GPU驱动（特别是NVIDIA CUDA）有时可能需要比Windows或macOS更多手动步骤，这取决于你的发行版和硬件。AMD ROCm驱动程序也是支持的AMD GPU的一个选项。
- 发行版： 尽管许多发行版都适用，但文档和预编译二进制文件通常面向Ubuntu等流行发行版。不过，底层工具通常可在不同Linux系统之间移植。
工具可用性总结
好消息是，最易于上手的工具，例如我们将在第4章介绍的Ollama和LM Studio，为Windows、macOS和Linux提供了用户友好的安装程序和清晰的说明。通常，你不需要非常熟悉特定操作系统的内部机制，就能通过这些应用程序运行你的第一个LLM。
知道你的操作系统很可能得到支持后，我们可以进行下一步准备：确保你已备好Python等基础软件（这通常有帮助，尽管并非所有工具都严格要求），并熟悉命令行界面的基本操作。
