用 Ollama 下载模型

下载一个可以交互的大型语言模型 (LLM) 是开始使用本地 LLM 的一个主要任务。Ollama 促使这一过程变得容易，让您可以直接在终端或命令提示符中运行命令来下载模型。

获取模型的主要命令是 ollama pull。您使用此命令，后面跟上您希望下载的模型名称。Ollama Hub 上的模型通常通过名称和标签识别，这与 Docker 镜像的标签方式类似。标签通常指明模型的版本、大小或变体。格式如下：

ollama pull <model_name>:<tag>

我们来分解一下：

• <model_name>：这是模型系列的标识符，例如 llama3、mistral、phi3 等。您可以在 Ollama 网站的模型库中找到可用的模型。
• <tag>：这指明了模型的特定版本或配置。常见的标签表示：
  • 大小： 例如 7b（70亿参数 (parameter)）、8b（80亿参数）、13b（130亿参数）。较小的模型需要较少的内存和磁盘空间，但能力可能不如较大的模型。
  • 变体： 例如 instruct（针对遵循指令调优）或 chat（针对对话调优）。
  • 量化 (quantization)级别： 有时标签会指明特定的量化级别（如 q4_0、q5_K_M），尽管 Ollama 通常会选择一个合适的默认量化级别。我们在第3章中提到了量化。
  • 版本： 如果模型更新，标签可能会区分不同版本（例如 0.1）。
  • latest：如果您省略标签，Ollama 通常会默认下载 latest 标签，这通常指向一个最近的、推荐的版本。然而，最好是明确您想要的模型大小，使其与您的硬件能力相符。

下载您的第一个模型

我们来尝试下载一个受欢迎且功能不错的模型，它适合多种系统：具有80亿参数 (parameter)的 Llama 3。打开您的终端或命令提示符，输入以下命令：

ollama pull llama3:8b

按下回车键。Ollama 将连接到其库并开始下载过程。您应该看到类似于以下的输出（具体的详细信息，如层ID和大小会有所不同）：

正在拉取清单
正在拉取 174b62a2b47d... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GB                         
正在拉取 8c35f094345b... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
正在拉取 294572a8cc96... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  485 B                         
正在拉取 58cd7654e763... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   59 B                         
正在拉取 e446f111b7e4... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  483 B                         
正在验证 sha256 摘要
正在写入清单
正在移除任何未使用的层
成功

以下是正在发生的情况：

1. 正在拉取清单：Ollama 首先获取一个小的“清单”文件。此文件包含模型的信息，包括组成它的不同文件（层）。
2. 正在拉取 <layer_id>...：模型本身是分部分下载的，这些部分通常称为层。您会看到每个层的进度条。大小（例如示例中的 4.7 GB）指明了正在下载的数据量。此步骤所需时间取决于您的互联网速度和模型大小。
3. 正在验证 sha256 摘要：下载后，Ollama 检查文件的完整性，以确保它们在下载过程中没有损坏。
4. 正在写入清单：清单文件在本地保存。
5. 正在移除任何未使用的层：Ollama 可能会清理临时文件。
6. 成功：此消息确认模型已成功下载并可以使用了。

Ollama 会为您管理这些模型的存储，通常将它们放置在您用户配置文件中的隐藏目录里（如 Linux/macOS 上的 ~/.ollama/models 或 Windows 上的 C:\Users\<username>\.ollama\models）。您通常不需要直接操作这些文件。

模型成功下载后，您现在已准备好运行它并开始使用 Ollama 命令行与您的第一个本地 LLM 交互，这将在下一节介绍。