趋近智
在你的系统准备就绪并了解了大型语言模型及其获取途径之后,本章将侧重于在你的机器上运行一个LLM的实际操作步骤。
你将了解到专门为了简化本地LLM的下载、管理和交互过程而设计的软件工具。我们将介绍两种常用工具的设置和基本使用方法:Ollama(一个命令行工具)和LM Studio(一个图形界面应用)。你会看到如何用这些工具下载模型文件(通常是.gguf格式),然后加载它来进行交互。我们还将简单提及llama.cpp,这是一个支持许多这类工具的核心库。
本章的目标是指导你下载并运行你的第一个LLM,从而支持在你的电脑上直接进行基本的文本生成。
4.1 本地LLM运行器介绍
4.2 设置 Ollama
4.3 用 Ollama 下载模型
4.4 使用 Ollama 运行模型 (命令行)
4.5 设置 LM Studio
4.6 在 LM Studio 中查找和下载模型
4.7 在LM Studio中加载模型并进行聊天
4.8 llama.cpp 简介 (核心思想)
4.9 动手实践:运行模型