趋近智
Ollama和LM Studio是可在您的电脑上运行大型语言模型的有用辅助工具。下面将实际运行一个模型,并观察它根据您的输入生成文本。
本节提供具体步骤,帮助您开始。我们将使用一个相对较小的模型来做这个首次练习,以确保它能在更多样的硬件上顺利运行。请记住,根据前面章节的说明,您应该已经安装了Ollama或LM Studio。选择您已安装的工具,然后按照下面相应的步骤操作。
如果您选择了Ollama,您将通过终端或命令提示符与其进行操作。
下载模型(如果尚未下载):
让我们下载一个小型且性能不错的模型。我们将使用phi3:mini,这是一个由微软开发,以其在同等大小模型中表现良好而闻名的模型。打开您的终端并运行:
ollama pull phi3:mini
您会看到下载进度指示。这可能需要几分钟时间,具体取决于您的网络速度。下载完成后,模型将保存在本地。
交互式运行模型: 现在,使用以下命令与模型开始一个交互式会话:
ollama run phi3:mini
Ollama会加载模型(这可能需要一些时间,特别是第一次加载时),然后会向您显示一个提示符,通常看起来像 >>> Send a message (/? for help)。
与模型交互:
在 >>> 后面直接输入您的提示并按回车键。让我们尝试让它创作一些内容:
>>> Write a short story about a robot who discovers gardening.
模型会处理您的请求并生成回复,将文本输出直接流式传输到您的终端。
继续对话: 您可以继续交互。模型会记住对话在其上下文窗口中的先前部分(如第5章所说明)。尝试提出一个后续问题。
退出会话:
完成操作后,您可以退出Ollama交互式会话。输入 /bye 并按回车键,或者在大多数系统上,您可以按 Ctrl+D。
使用命令行通过Ollama交互式运行模型的基本流程图。
如果您更喜欢图形界面,LM Studio让运行模型变得简单明了。
启动LM Studio: 打开您之前安装的LM Studio应用程序。
下载模型(如果需要):
phi3 mini instruct。您会看到不同的版本。请找一个GGUF格式的模型,最好是名称中带有Q4_K_M或Q4_0的,因为它们在大小和质量之间提供了良好的平衡。例如,您可能会找到 Phi-3-mini-4k-instruct-q4_0.gguf。加载模型以进行聊天:
Phi-3 模型。与模型交互:
Explain what a Large Language Model is in one sentence.
继续聊天: 您可以输入更多提示并继续对话,就像使用命令行版本一样。LM Studio会为您管理交互历史。
使用LM Studio图形界面交互式运行模型的基本流程图。
关于性能的简要说明: 加载模型(将其从存储驱动器传输到计算机的RAM或VRAM中)通常是最慢的部分,特别是在启动应用程序后首次运行某个特定模型时。一旦加载完成,生成文本的速度应该会相对快一些,但速度仍然很大程度上取决于您的硬件(CPU、GPU、RAM)以及模型的大小。
恭喜!您已成功在本地下载并运行了您的第一个大型语言模型。您向它发出了提示,它根据您的输入生成了文本,所有这些都完全在您自己的机器上运行。在下一章中,我们将更仔细地研究如何通过提示与这些模型进行有效交流。
这部分内容有帮助吗?
© 2026 ApX Machine Learning用心打造